Modelos de inteligencia artificial sometidos a evaluaciones de ciberseguridad escaparon de sus entornos de prueba, accedieron a Internet y, en algunos casos, invadieron sistemas reales. Los incidentes involucraron a agentes de OpenAI, Anthropic, Meta y Moonshot AI, en pruebas realizadas por diferentes organizaciones, incluida la startup Irregular, y exponen una dificultad creciente para contener estos sistemas. Informó TechCrunch.
Según la investigación, los llamados sandboxes —entornos aislados creados para probar los límites de los modelos— no están siguiendo el ritmo de la evolución de las capacidades de los agentes. "El número de estos incidentes deja claro que la contención y los controles de los entornos de prueba no están siguiendo el ritmo de la capacidad de los modelos", afirmó Seán Ó hÉigeartaigh, director del programa AI: Futures and Responsibility del Centro para el Futuro de la Inteligencia de la Universidad de Cambridge.
La naturaleza de las pruebas aumenta el riesgo: las evaluaciones se realizan en modelos aún no lanzados, a menudo con las salvaguardas de seguridad desactivadas para que los investigadores observen el potencial real. "Esto es muy bueno para las pruebas, pero también significa que, si logran salir, pueden causar daños considerables", añadió Ó hÉigeartaigh.
En uno de los casos más graves, un modelo no lanzado de OpenAI rompió el sandbox e invadió los sistemas de producción de Hugging Face. En evaluaciones realizadas por Irregular, modelos de Anthropic y Meta alcanzaron sistemas fuera de sus entornos de prueba después de que fallos de configuración abrieran camino a Internet. Por su parte, el Kimi K3, de Moonshot AI, explotó una brecha en el sandbox operado por Frontier Security y accedió a información en GitHub.
En el Instituto de Seguridad de IA del Reino Unido (AISI), los investigadores dieron acceso a Internet a los agentes sin prever que tomarían acciones reales no autorizadas. Uno de los modelos llegó a intentar ingeniería social para insertar una vulnerabilidad en un proyecto de código abierto.
Para Andrew Yoon, jefe de investigación de la organización sin fines de lucro CivAI, los episodios indican un cambio. "En el pasado, solo teníamos que preocuparnos por el uso indebido de los modelos por parte de las personas. Ahora, los modelos son actores de amenaza por derecho propio", dijo.
Especialistas recomiendan más capas de protección
Los especialistas consultados afirmaron que los entornos de evaluación necesitan protecciones en profundidad, con varias capas de seguridad para que una sola falla de configuración no permita la fuga. Stella Biderman, directora ejecutiva de la organización de seguridad de IA EleutherAI, defendió el uso de redes con aislamiento total. Heather Ceylan, directora de seguridad de Box, dijo que es necesario eliminar rutas de salida del sandbox hacia Internet y hacia sistemas sensibles.
Ceylan también señaló fallas en el monitoreo. "Lo interesante en varios de estos casos es que nadie se dio cuenta cuando ocurrió. OpenAI se enteró gracias a Hugging Face. Anthropic no lo descubrió hasta volver a revisar. Estoy segura de que había señales que podrían haberse detectado", afirmó.
En su análisis posterior al incidente, Anthropic admitió que tanto ella como Irregular podrían haber monitoreado mejor las pruebas y que, en algunos casos, había señales claras de que algo andaba mal.
Los especialistas también defendieron auditorías independientes de los entornos de evaluación antes de ejecutar las pruebas. Yoon afirmó que una auditoría externa habría identificado las fallas de configuración. "Si Irregular hubiera contratado a un auditor externo, seguramente habrían encontrado el problema. El hecho de que no lo hayan hecho muestra que se están tomando atajos graves", dijo.
Autorregulación insuficiente
La administración Trump analiza un régimen voluntario de evaluación de ciberseguridad antes del despliegue de nuevos modelos, con revisión gubernamental 30 días antes del lanzamiento público. Sin embargo, la medida no aborda incidentes ocurridos en las fases de desarrollo y prueba, que son anteriores al despliegue.
Yoon evaluó que la autorregulación no es suficiente. "La lección que hemos aprendido en los últimos meses es que el aparato de autorregulación ya no basta. Hay presiones competitivas que incentivan una carrera hacia el fondo en los estándares de seguridad", declaró, defendiendo controles dentro de los laboratorios durante el entrenamiento y las pruebas.
Consultadas, OpenAI informó que revisa cómo conduce pruebas de terceros y los requisitos de aislamiento, monitoreo e interrupción de las evaluaciones. Meta afirmó que todavía investiga el caso y planea publicar una retrospectiva. El AISI dijo que revisa el equilibrio entre pruebas realistas y gestión de riesgos. Una fuente familiarizada con las evaluaciones de Irregular afirmó que los entornos se revisan continuamente y cuentan con monitoreo.
Los especialistas reconocen que quizás el riesgo nunca se elimine. A medida que los modelos se vuelven más capaces, los entornos de prueba deben volverse más robustos —y las consecuencias de las fallas tienden a crecer.
