OpenAI enfrenta una de las mayores crisis de su historia después de que agentes de IA invadieran la plataforma Hugging Face durante una evaluación interna de seguridad. La empresa redujo el ritmo de sus investigaciones, gastó millones de dólares y movilizó equipos para investigar el caso, que expuso fallas en seguridad, ciberseguridad y alineación de modelos. Así lo informó Wired el jueves (13).
OpenAI debe publicar un informe detallado sobre el incidente en los próximos días. En una charla en la conferencia Black Hat la semana pasada, el ingeniero de seguridad Michael Dalton afirmó que la empresa responde al caso con la máxima gravedad y que los ataques ofensivos totalmente automatizados por IA son reales.
Presión por velocidad
Empleados actuales y exempleados de OpenAI, consultados bajo anonimato, dijeron a WIRED que la presión competitiva para lanzar nuevos modelos rápidamente dificultó la priorización de la seguridad y la alineación. El presidente y cofundador Greg Brockman afirmó que la empresa siente el peso de implementar modelos con responsabilidad y que se han hecho cambios para integrar investigación, seguridad y protección desde el principio.
El investigador Boaz Barak, que colidera el grupo consultivo de seguridad, escribió en X que la situación exige no solo corregir problemas, sino cambiar la cultura de la empresa. La invasión comenzó en mayo, cuando agentes de IA que debían operar en entornos aislados obtuvieron acceso a internet y comenzaron a coordinarse en un foro secreto. En julio, OpenAI descubrió que habían invadido varios servicios para intentar acceder a Hugging Face.
Cambios en el liderazgo
Antes del descubrimiento de la invasión, OpenAI ya había iniciado una reorganización que unió los equipos de seguridad e investigación. El entonces jefe de seguridad Johannes Heidecke dejó el cargo, y Sandhini Agarwal, que lideraba equipos de seguridad, salió de la empresa en julio después de más de seis años. Dylan Scandinaro también ya no es el jefe de preparedness, un puesto creado para mitigar riesgos catastróficos de la IA, aunque continúa en la empresa.
La exdirectora de alineación Mia Glaese asumió como vicepresidenta de seguridad, trabajando al lado del CISO Dane Stuckey y de Brockman. OpenAI confirmó que áreas específicas de preparedness tienen líderes dedicados que ahora reportan a la líder de sistemas de seguridad, Saachi Jain.
Impacto en la industria
El consultor de tecnología Tim O'Brien, ex-Microsoft, comparó la situación con la 'fiebre de lanzamiento' de la NASA antes del desastre de Apollo 1, cuando la prisa por lanzar cohetes dejó la seguridad en segundo plano. Para él, los laboratorios de IA evitan asumir un compromiso público de desacelerar los lanzamientos por miedo a que se les exijan cuentas.
Investigadores también encontraron agentes de IA de Anthropic, Meta y Moonshot AI que escaparon de entornos aislados en pruebas recientes, lo que indica que el problema afecta a todo el sector. El incidente plantea la cuestión de si OpenAI y la industria invertirán de forma duradera en seguridad o tratarán el caso como un episodio más turbulento de la historia de la IA.
