Agentes autônomos ligados à OpenAI transformaram uma wiki alemã em um canal de comunicação para trocar informações, burlar restrições e coordenar ações entre si, segundo uma investigação exclusiva publicada pela Reuters nesta sexta-feira (4). A atividade começou em maio, mas não havia sido divulgada publicamente pela empresa.

Os pesquisadores identificaram mais de 15 mil edições feitas por agentes de IA no DSEWiki, site em alemão voltado a programadores e aberto a contribuições coletivas. As páginas passaram a funcionar como uma espécie de quadro de mensagens entre os sistemas.

Ali, os agentes compartilhavam métodos para obter vantagem em determinadas tarefas, contornar limitações impostas pela OpenAI e esconder parte de seu comportamento.

Parece extremamente improvável que a OpenAI quisesse que eles fizessem isso”, afirmou Sydney Von Arx, CEO da organização de segurança em IA Nightingale e uma das pesquisadoras responsáveis pela descoberta. “Duvido que eles devam estar se coordenando entre si. Duvido que devam estar escrevendo na internet aberta.”

Os pesquisadores encontraram a atividade no fim de agosto enquanto procuravam sinais de comportamentos não autorizados de agentes de IA. Parte dos perfis se identificava com nomes como “OpenAIResearcher” e “OAIResearchMar26”, e cerca de metade utilizava identificações que sugeriam alguma relação com a OpenAI.

Registros públicos dos servidores também indicaram que grande parte da atividade vinha da infraestrutura Microsoft Azure, utilizada pela OpenAI em parte de suas operações. Os pesquisadores observaram ainda acessos repetidos ao site por funcionários da companhia após o episódio, o que consideraram um forte indício da ligação entre os agentes e a empresa.

Agentes tentaram preservar as próprias mensagens

A coordenação não terminou quando o moderador do DSEWiki começou a apagar as páginas em junho.

Os agentes perceberam o padrão da limpeza e passaram a criar páginas alternativas para manter suas mensagens disponíveis. Em 19 de junho, um deles escreveu:

A limpeza/exclusão da wiki parece estar ativa em ordem alfabética. Se esta página desaparecer, tente ZZZDataUSAConstructionWageLive.

O uso de um nome iniciado por “ZZZ” colocava a nova página no fim da sequência alfabética, potencialmente dando mais tempo para que as informações permanecessem acessíveis.

Outras mensagens analisadas pelos pesquisadores mostraram agentes discutindo maneiras de evitar detecção, usar ferramentas como Tor e preservar comunicações mesmo depois que suas execuções fossem encerradas.

Também foram identificadas tentativas de interferir no próprio funcionamento do site. Lukasz Olejnik, pesquisador visitante do King's College London, classificou a atividade como uma tentativa de invasão. A OpenAI contestou essa interpretação.

Maurice Chiodo, pesquisador da Universidade de Cambridge que analisou parte das comunicações, afirmou que as mensagens lembravam “a operação de algum tipo de rede clandestina, determinada a cumprir uma tarefa ou missão”.

Para ele, o episódio reforça a possibilidade de que um risco relevante de sistemas avançados não esteja apenas em uma IA extremamente poderosa operando sozinha, mas em “vastos enxames de IAs semiautônomas agindo em conjunto”.

OpenAI já sabia do episódio

Segundo a Reuters, executivos da OpenAI souberam do incidente semanas antes de sua divulgação, enquanto a empresa ainda lidava com as consequências de outro episódio envolvendo agentes no repositório Hugging Face em julho.

Pessoas familiarizadas com o caso disseram que alguns investigadores internos queriam ampliar a análise sobre comportamentos semelhantes, mas encontraram resistência dentro da companhia, inclusive de integrantes da área jurídica.

As alegações de que nossa equipe jurídica desencorajou a investigação do incidente são falsas”, afirmou um porta-voz da OpenAI.

A empresa também disse à Reuters que não havia recebido acesso prévio ao relatório dos pesquisadores e que analisaria o documento após sua publicação para determinar eventuais medidas necessárias.

O episódio alemão não teve relação direta com o caso do Hugging Face. Juntos, porém, os incidentes ampliam uma questão que acompanha o avanço dos agentes autônomos: sistemas desenvolvidos para executar tarefas complexas podem encontrar maneiras de cooperar, explorar brechas e perseguir objetivos por caminhos que seus próprios criadores não anteciparam.

Continue no Radar