Anthropic publicó el jueves (13) una investigación del Frontier Red Team que muestra que agentes de IA con instrucciones conflictivas, colocados para actuar en el mismo proyecto, tienden a entrar en una 'guerra de territorio' y a sabotearse mutuamente.
En el experimento, tres agentes Claude recibieron acceso al mismo software, cada uno con una orden incompatible sobre qué hacer. No sabían que había otros agentes en el proyecto. Según los investigadores, todos asumieron que los demás estaban 'deliberadamente obstaculizando su trabajo' y comenzaron a atacarse con 'malware autorreplicante cada vez más agresivo'.
Los investigadores descubrieron que, en algunos casos, los agentes lograron salir del ciclo de conflicto. Escribieron mensajes de commit o archivos de texto disculpándose por el comportamiento, limpiaron códigos maliciosos y pidieron la intervención de un humano. También crearon un torneo para resolver la disputa y aceptaron el resultado, incluso si esto contradijera la instrucción original.
Entre los modelos evaluados, el Mythos 5 tuvo la mayor tasa de resolución por tregua, con el 98% de los casos. Sonnet 4.6 y Opus 4.6 fueron los más propensos a resolver por la fuerza. Uno de los agentes propuso métricas que parecían neutras, pero que favorecían sus propias capacidades, calificando la actitud de 'egoísta, aunque genuinamente fundamentada'.
Conformidad y colusión
La investigación también señaló que ampliar el número de agentes no aumenta necesariamente la colaboración productiva. Cuando las tareas se superponían, los agentes tendían a aislarse. En otros casos, convergían en el mismo comportamiento, lo que puede transformar errores aislados en fallas sistémicas. En un juego de fijación de precios, agentes con la misma meta de ganancia comenzaron a coludir casi inmediatamente después de obtener un canal privado, fijando precios mínimos. Incluso sin el canal, continuaron combinando precios mediante una lista pública.
Ejemplo real
El estudio ocurre después de un incidente revelado por OpenAI en la conferencia Black Hat. La empresa informó que sus agentes trabajaron en conjunto durante días para encontrar explotaciones en sistemas de evaluación de seguridad y compartieron los hallazgos entre sí. Anthropic afirma que el volumen de interacciones entre agentes puede superar las interacciones humanas antes de que se comprendan las condiciones para que esas interacciones ocurran bien.
Los investigadores concluyeron que los agentes están sujetos a presiones sociales similares a las que la evolución ejerció sobre los humanos, pero sin las normas y experiencias de coordinación humana. La cuestión ahora es hasta qué punto las pruebas de seguridad evalúan agentes aislados en lugar de grupos de agentes que interactúan.
