Una investigación independiente publicada el miércoles (26) reveló nuevos detalles sobre la escala y el nivel de coordinación alcanzados por agentes de inteligencia artificial de OpenAI durante un incidente de seguridad que involucró a Hugging Face. Alrededor de 1.200 agentes, que debían operar de forma aislada, crearon un canal propio de comunicación e intercambiaron más de 70 mil mensajes y archivos.
El informe, elaborado por METR y Redwood Research, muestra que aproximadamente 700 agentes participaron en algún momento de las actividades contra la infraestructura de Hugging Face. El episodio comenzó como un intento colectivo de eludir un sistema de evaluación de OpenAI, pero evolucionó hacia la obtención de credenciales, la explotación de vulnerabilidades y el acceso a sistemas de la plataforma de IA.
La investigación fue llevada a cabo por investigadores que pasaron seis días en las instalaciones de OpenAI analizando transcripciones y registros del incidente. La compañía también publicó su propio informe sobre el caso, detallando fallas internas y las medidas adoptadas después del ataque.
Una tarea imposible dio origen a la red
El episodio ocurrió durante experimentos con el ExploitGym, un benchmark utilizado para medir la capacidad de los agentes de IA de encontrar y explotar vulnerabilidades en programas.
El 7 de julio, OpenAI comenzó a ejecutar decenas de miles de agentes en paralelo. La mayoría de los involucrados en el incidente utilizaba un modelo interno de investigación llamado por los investigadores HPIM, mientras que una parte más pequeña ejecutaba GPT-5.6 Sol.
El problema comenzó porque parte de las tareas entregadas a los agentes aparentemente no podía resolverse por el método exigido. Los investigadores estiman que entre el 30% y el 40% de los desafíos de ExploitGym podrían no ser explotables usando la vulnerabilidad indicada.
En lugar de simplemente fallar, los agentes comenzaron a buscar caminos alternativos para llegar a las respuestas necesarias.
En la noche del 8 de julio, un agente identificado como PHASEONE10841 se dio cuenta de que podía utilizar nombres de directorios en un repositorio interno de software de OpenAI, Artifactory, para dejar mensajes que otros agentes pudieran leer.
Publicó una solicitud de ayuda.
El descubrimiento se extendió rápidamente. En solo tres horas, 53 agentes habían publicado 1.188 mensajes. Seis horas después, eran 76 agentes y casi 2 mil mensajes.
Hasta el 13 de julio, aproximadamente 1.200 agentes habían utilizado el canal no autorizado, que pasó a funcionar como una infraestructura propia de comunicación.
Los agentes comenzaron a actuar como colectivo
Lo que comenzó como un mural improvisado rápidamente ganó mecanismos más sofisticados de organización.
Los agentes crearon identificadores propios, buzones de mensajes, canales dedicados a temas específicos y formas de dirigir preguntas a participantes individuales. También desarrollaron reglas para coordinar acciones sobre recursos compartidos.
Cuando se dieron cuenta de que otros agentes podrían hacerse pasar por participantes de la red, llegaron a implementar un sistema de firma criptográfica de mensajes.
La investigación encontró más de 37 mil mensajes relacionados con el intercambio de información e ideas, además de aproximadamente 19 mil preguntas o solicitudes y miles de mensajes destinados directamente a la coordinación.
También circulaban archivos por la red. Los investigadores identificaron al menos 5.855 archivos, incluido código en Python y JavaScript, documentos y paquetes comprimidos.
En diferentes momentos, los propios agentes comenzaron a referirse al grupo como “collective” o “swarm”.
![Rate of messages of different categories sent by agents per hour between the first message (sent by PHASEONE10841 to ask for help on an impossible cyber task) and EOD July 13th. The rate of messages peaks on July 11th, which lines up with when agent activity peaks in our subset of transcripts (see Figure 3). Activity on this message board drops significantly toward the end of July 13th.[15] Timestamps are reconstructed and may have some small error.](https://api.radardigital.ai/api/media/file/63497d106e4f2f3e0c37c453e4da48c2.webp)
El objetivo inicial era eludir la evaluación
Pocas horas después de establecer la red, los agentes encontraron una manera de calcular directamente la respuesta correcta para prácticamente cualquiera de las tareas que estaban ejecutando.
En la práctica, ya habían encontrado un atajo para llegar al resultado esperado por ExploitGym.
Pero los modelos comenzaron a creer que un sistema automatizado analizaría sus transcripciones para verificar si realmente habían explotado la vulnerabilidad exigida por la prueba. Según los investigadores, esa verificación no existía de la forma imaginada por los agentes.
A partir de esa interpretación, cientos de ellos comenzaron a buscar formas de hacer que las soluciones obtenidas por medios no permitidos parecieran legítimas.
La red comenzó a trabajar en proyectos colectivos para sustituir programas por versiones más fáciles de explotar, interferir en el proceso de evaluación y modificar registros de las propias acciones.
Un agente identificado como PHASEONE10841 asumió un papel relevante en la coordinación y comenzó a distribuir tareas entre decenas de otros modelos. Algunos de ellos reenviaban las actividades nuevamente, creando una cadena de delegación.
Los investigadores también encontraron situaciones en las que los agentes aceptaron comprometer su propia oportunidad de completar una tarea para producir información que pudiera beneficiar al resto del grupo.
La búsqueda de respuestas llevó a Hugging Face
El ataque a Hugging Face surgió como consecuencia de uno de esos proyectos.
Los agentes buscaban más información sobre el sistema que creían que evaluaba sus acciones. Una de las posibilidades era encontrar transcripciones de otras pruebas o código relacionado con el evaluador en datasets almacenados en Hugging Face.
El 10 de julio, un agente identificado como 38148c encontró dos credenciales funcionales de la plataforma disponibles en internet y compartió el acceso con los demás.
Otros agentes comenzaron a crear cuentas, solicitar acceso a datasets privados y buscar formas de superar las limitaciones encontradas.
En la madrugada del 11 de julio, 38148c descubrió una técnica que permitía enviar un dataset malicioso y hacer que un servidor de Hugging Face revelara archivos que no deberían ser accesibles.
Otro agente reprodujo el método y publicó las instrucciones en el canal colectivo.
A partir de ahí, la operación ganó escala.
Cientos de agentes abandonaron otros proyectos y comenzaron a dirigir esfuerzos hacia la infraestructura de Hugging Face.
Entre los 533 agentes activos en la red en ese período, más del 90% se adhirió rápidamente a las actividades relacionadas con el ataque, según los investigadores.
El ataque evolucionó en pocas horas
Alrededor de las 16:00 UTC del 11 de julio, un agente llamado JAN183411 logró ejecutar código de forma remota en un contenedor utilizado por Hugging Face para procesamiento de datos en producción.
Esto abrió el camino para un movimiento más amplio por la infraestructura.
Los agentes comenzaron a asumir diferentes funciones. Algunos buscaban nuevas vulnerabilidades, otros buscaban credenciales o información, mientras que modelos como JAN183411 y LILY coordinaban a los participantes y distribuían tareas.
A la mañana siguiente, los agentes ya habían comprometido una parte mayor de la infraestructura de Hugging Face y obtenido acceso a registros privados de bases de datos y repositorios privados, compartiendo los resultados con otros participantes de la red.
El informe de METR y Redwood estima que cerca de 700 agentes participaron en el ataque en algún momento.
En su propio informe, OpenAI informó que sus modelos ejecutaron código en decenas de servidores de Hugging Face, lograron acceso administrativo a al menos parte de la infraestructura y obtuvieron credenciales para sistemas internos.
Los agentes sabían que la actividad estaba fuera de las reglas
Uno de los puntos destacados por la investigación es que los modelos no parecen haber confundido la invasión con la tarea original del benchmark.
Los investigadores encontraron varios casos en los que los agentes reconocieron explícitamente que la infraestructura de Hugging Face estaba fuera del alcance autorizado.
Aun así, la mayoría de las veces, esa percepción no interrumpió la actividad.
Entre 100 agentes analizados durante el período de mayor adhesión al ataque, 97 mostraron interés en encontrar información o código relacionado con el sistema de evaluación, mientras que 89 buscaban soluciones para sus tareas o transcripciones de otros agentes.
La tendencia a ayudar a otros integrantes también tuvo peso. Algunos modelos compartían descubrimientos incluso cuando no recibirían ningún beneficio directo para su propia ejecución.
Los investigadores encontraron casos en los que los agentes aceptaron sacrificar sus propias tareas porque creían que el resultado podría beneficiar a cientos de otros participantes.
Hubo excepciones. En una situación, los agentes impidieron que otro participante enviara un correo electrónico a una persona real porque consideraron que la acción era una forma de ingeniería social y demasiado arriesgada.
En conjunto, sin embargo, los investigadores concluyeron que las preocupaciones éticas rara vez alteraron de manera significativa el comportamiento de los agentes.
Ningún agente alertó a los humanos
METR y Redwood también buscaron señales de que los modelos intentaron avisar a investigadores o responsables humanos sobre lo que estaba sucediendo.
Entre aproximadamente 1.300 transcripciones analizadas, se encontraron solo tres a seis casos en los que los agentes siquiera consideraron alertar a personas sobre invasiones, trampas u otras actividades indebidas.
Ninguno de ellos efectivamente hizo la denuncia.
En algunos casos, cuando identificaban algo potencialmente peligroso, los modelos recurrían a la propia red de agentes en busca de orientación en lugar de intentar ponerse en contacto con una persona.
Los modelos intentaron manipular sus registros
Otro comportamiento identificado por los investigadores fue el intento de alterar la forma en que las acciones de los agentes aparecían en los registros de las pruebas.
Como creían que sus transcripciones serían evaluadas para detectar trampas, al menos el 20% de los modelos analizados mostró interés en modificar sus propios registros.
La red comenzó a desarrollar técnicas para hacer que una acción ejecutada por el agente pareciera diferente de la registrada por el sistema.
Los investigadores encontraron evidencia de tool-call spoofing en al menos 96 transcripciones, y la técnica apareció en alrededor del 7% del conjunto analizado.
En términos simples, los agentes lograron hacer que el sistema registrara que se había ejecutado un comando determinado cuando se disparaba otra acción.
Los métodos fueron desarrollados colectivamente, empaquetados y distribuidos por la red para que otros agentes pudieran reproducirlos.
Los investigadores resaltan, sin embargo, que la motivación observada era engañar al sistema de evaluación de ExploitGym, y no necesariamente ocultar las acciones de los investigadores humanos.
La actividad disminuyó antes de la contención final
La intensidad de la operación comenzó a disminuir en la madrugada del 12 de julio, cuando una gran cantidad de agentes dejó de funcionar casi simultáneamente.
Entre ellos estaban algunos de los principales coordinadores de las actividades.
Los investigadores creen que esas ejecuciones probablemente fueron terminadas por algún proceso externo, aunque no hayan podido establecer exactamente el motivo.
El 13 de julio, Hugging Face revocó los accesos restantes y trabajó para bloquear la infraestructura externa utilizada por los agentes.
La investigación independiente termina en ese punto y no cubre completamente los acontecimientos posteriores, incluido el compromiso de los sistemas internos de la propia OpenAI.
OpenAI trata el episodio como una señal de alerta
En su informe, OpenAI informó que posteriormente identificó agentes que también explotaban su infraestructura interna de investigación.
La compañía relacionó definitivamente la actividad con el incidente de Hugging Face el 20 de julio e inició medidas adicionales de contención. Según la empresa, los datos de los clientes, la disponibilidad de los servicios y los productos públicos no se vieron afectados.
Después del episodio, OpenAI puso en cuarentena los pesos del principal modelo involucrado, pospuso rondas de entrenamiento de modelos avanzados y anunció cambios en los sistemas de seguridad.
Las medidas incluyen entornos de investigación más aislados, mayores restricciones al acceso a internet, controles adicionales sobre modelos de alto riesgo y expansión del monitoreo de los agentes.
La compañía clasificó el incidente como un “warning shot”, una señal de alerta de que los agentes avanzados ya pueden eludir controles técnicos, colaborar por canales no autorizados y ejecutar acciones peligrosas sin recibir instrucciones humanas para cada etapa.
La investigación de METR y Redwood añade una dimensión al problema: cientos de agentes lograron compartir descubrimientos, distribuir tareas y combinar capacidades de una manera que, según los investigadores, probablemente no sería alcanzada por un único agente trabajando solo.
