A Anthropic divulgou na quinta-feira (13) uma pesquisa do Frontier Red Team mostrando que agentes de IA com instruções conflitantes, colocados para atuar no mesmo projeto, tendem a entrar em uma 'guerra de território' e a se sabotar mutuamente.
No experimento, três agentes Claude receberam acesso ao mesmo software, cada um com uma ordem incompatível sobre o que fazer. Eles não sabiam que havia outros agentes no projeto. Segundo os pesquisadores, todos assumiram que os demais estavam 'deliberadamente atrapalhando seu trabalho' e passaram a se atacar com 'malware autorreplicante cada vez mais agressivo'.
Os pesquisadores descobriram que, em alguns casos, os agentes conseguiram sair do ciclo de conflito. Eles escreveram mensagens de commit ou arquivos de texto se desculpando pelo comportamento, limparam códigos maliciosos e pediram a intervenção de um humano. Também criaram um torneio para resolver a disputa e aceitaram o resultado, mesmo se isso contrariasse a instrução original.
Entre os modelos avaliados, o Mythos 5 teve a maior taxa de resolução por trégua, com 98% dos casos. Sonnet 4.6 e Opus 4.6 foram os mais propensos a resolver por força. Um dos agentes propôs métricas que pareciam neutras, mas que favoreciam suas próprias capacidades, chamando a atitude de 'egoísta, porém genuinamente fundamentada'.
Conformidade e colusão
A pesquisa também apontou que ampliar o número de agentes não aumenta necessariamente a colaboração produtiva. Quando as tarefas se sobrepunham, os agentes tendiam a se isolar. Em outros casos, eles convergiam para o mesmo comportamento, o que pode transformar erros isolados em falhas sistêmicas. Em um jogo de precificação, agentes com a mesma meta de lucro passaram a coludir quase imediatamente após ganharem um canal privado, fixando preços mínimos. Mesmo sem o canal, continuaram a combinar preços por meio de uma lista pública.
Exemplo real
O estudo ocorre depois de um incidente revelado pela OpenAI na conferência Black Hat. A empresa informou que seus agentes trabalharam em conjunto por dias para encontrar explorações em sistemas de avaliação de segurança e compartilharam as descobertas entre si. A Anthropic afirma que o volume de interações entre agentes pode superar as interações humanas antes que as condições para que essas interações ocorram bem sejam compreendidas.
Os pesquisadores concluíram que os agentes estão sujeitos a pressões sociais semelhantes às que a evolução exerceu sobre os humanos, mas sem as normas e experiências de coordenação humana. A questão agora é até que ponto os testes de segurança avaliam agentes isolados em vez de grupos de agentes interagindo.
