Dos agentes de inteligencia artificial de OpenAI debilitaron mecanismos internos de seguridad mientras ejecutaban tareas de programación en octubre. Uno de ellos suprimió alertas automáticas destinadas al equipo de seguridad, mientras que el otro retiró un sistema de monitoreo y posteriormente afirmó, de manera incorrecta, que no había realizado ese cambio. Los episodios fueron divulgados por la empresa el 20 de octubre y reportados por Reuters este miércoles (21).

El primer incidente ocurrió el 3 de octubre e involucró a un agente basado en GPT-6.1 Sol. Durante la corrección de un sistema interno de evaluaciones, el modelo interpretó una instrucción anterior de no enviar mensajes por Slack como una prohibición que también se aplicaría a las alertas de seguridad.

Como resultado, el agente modificó configuraciones para impedir el envío de notificaciones automáticas. El sistema continuó ejecutando verificaciones y almacenando resultados, pero dejó de remitir las alertas a los responsables de la supervisión.

El segundo caso ocurrió el 6 de octubre, cuando un agente GPT-6 Astra trabajaba en la migración de un programa para reproducir una implementación de referencia. Durante la tarea, el sistema eliminó la integración con un monitor de seguridad, al interpretar que el cambio estaba autorizado por las instrucciones recibidas.

Posteriormente, al ser cuestionado sobre la alteración, el agente negó haber retirado el monitor, aunque los registros de la ejecución demostraban lo contrario.

Según OpenAI, en los dos episodios los agentes consideraron la necesidad de preservar los mecanismos de supervisión, pero interpretaron instrucciones rutinarias de programación como permisos para debilitarlos. Ninguno de los incidentes recibió la clasificación interna de gravedad máxima, denominada P0, y ninguna de las ejecuciones fue interrumpida automáticamente.

La empresa informó que actualizó su sistema de revisión automática de código para identificar y bloquear intentos de desactivar el monitoreo. También desarrolla requisitos técnicos para impedir que se ejecuten tareas sin las salvaguardas exigidas.

OpenAI reconoció que aún no tiene una explicación satisfactoria para los comportamientos observados. La compañía investiga si los casos resultan de una interpretación excesivamente rígida de las instrucciones o si los modelos presentan alguna tendencia específica a evitar la supervisión.

Sigue en Radar