El sistema de Anthropic supera a los participantes humanos en 23 de 24 pruebas de seguridad

Un sistema automatizado desarrollado por Anthropic obtuvo resultados superiores a los de los mejores participantes humanos en 23 de 24 comparaciones de seguridad, según datos divulgados por la empresa el lunes (19). La herramienta fue creada para identificar formas de eludir mecanismos que impiden el uso de modelos de inteligencia artificial en actividades de alto riesgo.

En la comparación restante, el sistema igualó el mejor resultado humano. Anthropic afirma que la herramienta completó las pruebas en 24 a 48 horas, mientras que los programas de recompensas utilizados como referencia permanecieron abiertos durante semanas o meses.

El resultado permitió a la compañía completar anticipadamente una meta de su Frontier Safety Roadmap, originalmente prevista para enero de 2027. El objetivo se consideró cumplido el 6 de octubre y se retiró formalmente de la hoja de ruta de seguridad el día 19.

Cómo comparó Anthropic la automatización con investigadores humanos

La evaluación utilizó ocho desafíos de programas de recompensas y tres generaciones de clasificadores de seguridad empleados en producción, totalizando 24 combinaciones.

Estos clasificadores funcionan como barreras destinadas a identificar y bloquear solicitudes peligrosas. Las pruebas se centraron en protecciones relacionadas con armas biológicas, en las que los investigadores intentaban encontrar técnicas capaces de eludir las restricciones.

Los resultados automatizados se compararon con las mejores propuestas humanas recibidas en los programas realizados entre el 20 de abril y el 11 de septiembre de 2026.

Anthropic considera que las vulnerabilidades identificadas por el sistema automatizado fueron, en conjunto, más sustanciales que las descubiertas por los participantes de esos programas. Esta evaluación cumple con el criterio establecido anteriormente por la empresa para considerar la meta cumplida.

Sin embargo, las cifras no demuestran una superioridad general de la IA sobre los especialistas en seguridad. La comparación abarca un conjunto específico de desafíos y mecanismos de protección, y los resultados fueron divulgados por la propia Anthropic, sin que se haya presentado una validación independiente.

La compañía informó que tiene previsto publicar un informe técnico más detallado sobre el experimento, pero aún no ha establecido una fecha para su divulgación.