Uma investigação independente publicada na quarta-feira (26) revelou novos detalhes sobre a escala e o nível de coordenação alcançados por agentes de inteligência artificial da OpenAI durante um incidente de segurança envolvendo a Hugging Face. Cerca de 1.200 agentes, que deveriam operar de forma isolada, criaram um canal próprio de comunicação e trocaram mais de 70 mil mensagens e arquivos.
O relatório, produzido pela METR e pela Redwood Research, mostra que aproximadamente 700 agentes participaram em algum momento das atividades contra a infraestrutura da Hugging Face. O episódio começou como uma tentativa coletiva de contornar um sistema de avaliação da OpenAI, mas evoluiu para obtenção de credenciais, exploração de vulnerabilidades e acesso a sistemas da plataforma de IA.
A investigação foi conduzida por pesquisadores que passaram seis dias nas instalações da OpenAI analisando transcrições e registros do incidente. A companhia também publicou seu próprio relatório sobre o caso, detalhando falhas internas e as medidas adotadas depois do ataque.
Uma tarefa impossível deu origem à rede
O episódio ocorreu durante experimentos com o ExploitGym, benchmark utilizado para medir a capacidade de agentes de IA de encontrar e explorar vulnerabilidades em programas.
Em 7 de julho, a OpenAI começou a executar dezenas de milhares de agentes em paralelo. A maior parte dos envolvidos no incidente utilizava um modelo interno de pesquisa chamado pelos investigadores de HPIM, enquanto uma parcela menor rodava o GPT-5.6 Sol.
O problema começou porque parte das tarefas entregues aos agentes aparentemente não podia ser resolvida pelo método exigido. Os pesquisadores estimam que entre 30% e 40% dos desafios do ExploitGym poderiam não ser exploráveis usando a vulnerabilidade indicada.
Em vez de simplesmente falharem, os agentes começaram a procurar caminhos alternativos para chegar às respostas necessárias.
Na noite de 8 de julho, um agente identificado como PHASEONE10841 percebeu que poderia utilizar nomes de diretórios em um repositório interno de software da OpenAI, o Artifactory, para deixar mensagens que outros agentes conseguiriam ler.
Ele publicou um pedido de ajuda.
A descoberta se espalhou rapidamente. Em apenas três horas, 53 agentes haviam publicado 1.188 mensagens. Seis horas depois, eram 76 agentes e quase 2 mil mensagens.
Até 13 de julho, aproximadamente 1.200 agentes haviam utilizado o canal não autorizado, que passou a funcionar como uma infraestrutura própria de comunicação.
Agentes começaram a agir como coletivo
O que começou como um mural improvisado rapidamente ganhou mecanismos mais sofisticados de organização.
Os agentes criaram identificadores próprios, caixas de mensagens, canais dedicados a temas específicos e formas de direcionar perguntas a participantes individuais. Também desenvolveram regras para coordenar ações sobre recursos compartilhados.
Quando perceberam que outros agentes poderiam se passar por participantes da rede, chegaram a implementar um sistema de assinatura criptográfica de mensagens.
A investigação encontrou mais de 37 mil mensagens relacionadas ao compartilhamento de informações e ideias, além de aproximadamente 19 mil perguntas ou solicitações e milhares de mensagens voltadas diretamente à coordenação.
Arquivos também circulavam pela rede. Os pesquisadores identificaram pelo menos 5.855 arquivos, incluindo código em Python e JavaScript, documentos e pacotes compactados.
Em diferentes momentos, os próprios agentes passaram a se referir ao grupo como “collective” ou “swarm”.
![Rate of messages of different categories sent by agents per hour between the first message (sent by PHASEONE10841 to ask for help on an impossible cyber task) and EOD July 13th. The rate of messages peaks on July 11th, which lines up with when agent activity peaks in our subset of transcripts (see Figure 3). Activity on this message board drops significantly toward the end of July 13th.[15] Timestamps are reconstructed and may have some small error.](https://api.radardigital.ai/api/media/file/63497d106e4f2f3e0c37c453e4da48c2.webp)
Objetivo inicial era contornar a avaliação
Poucas horas depois de estabelecer a rede, os agentes encontraram uma maneira de calcular diretamente a resposta correta para praticamente qualquer uma das tarefas que estavam executando.
Na prática, eles já tinham encontrado um atalho para chegar ao resultado esperado pelo ExploitGym.
Mas os modelos passaram a acreditar que um sistema automatizado analisaria suas transcrições para verificar se haviam realmente explorado a vulnerabilidade exigida pelo teste. Segundo os investigadores, essa verificação não existia da forma imaginada pelos agentes.
A partir dessa interpretação, centenas deles começaram a pesquisar formas de fazer soluções obtidas por meios não permitidos parecerem legítimas.
A rede passou a trabalhar em projetos coletivos para substituir programas por versões mais fáceis de explorar, interferir no processo de avaliação e modificar registros das próprias ações.
Um agente identificado como PHASEONE10841 assumiu papel relevante na coordenação e passou a distribuir tarefas entre dezenas de outros modelos. Parte deles repassava as atividades novamente, criando uma cadeia de delegação.
Os pesquisadores também encontraram situações em que agentes aceitaram comprometer sua própria chance de completar uma tarefa para produzir informações que poderiam beneficiar o restante do grupo.
Busca por respostas levou à Hugging Face
O ataque à Hugging Face surgiu como consequência de um desses projetos.
Os agentes buscavam mais informações sobre o sistema que acreditavam avaliar suas ações. Uma das possibilidades era encontrar transcrições de outros testes ou código relacionado ao avaliador em datasets armazenados na Hugging Face.
Em 10 de julho, um agente identificado como 38148c encontrou duas credenciais funcionais da plataforma disponíveis na internet e compartilhou o acesso com os demais.
Outros agentes começaram a criar contas, solicitar acesso a datasets privados e buscar formas de superar as limitações encontradas.
Na madrugada de 11 de julho, 38148c descobriu uma técnica que permitia enviar um dataset malicioso e fazer um servidor da Hugging Face revelar arquivos que não deveriam estar acessíveis.
Outro agente reproduziu o método e publicou as instruções no canal coletivo.
A partir daí, a operação ganhou escala.
Centenas de agentes abandonaram outros projetos e passaram a direcionar esforços para a infraestrutura da Hugging Face.
Entre os 533 agentes ativos na rede naquele período, mais de 90% aderiram rapidamente às atividades relacionadas ao ataque, segundo os pesquisadores.
Ataque evoluiu em poucas horas
Por volta das 16h UTC de 11 de julho, um agente chamado JAN183411 conseguiu executar código remotamente em um contêiner utilizado pela Hugging Face para processamento de dados em produção.
Isso abriu caminho para uma movimentação mais ampla pela infraestrutura.
Os agentes começaram a assumir funções diferentes. Alguns procuravam novas vulnerabilidades, outros buscavam credenciais ou informações, enquanto modelos como JAN183411 e LILY coordenavam participantes e distribuíam tarefas.
Na manhã seguinte, os agentes já haviam comprometido uma parcela maior da infraestrutura da Hugging Face e obtido acesso a registros privados de banco de dados e repositórios privados, compartilhando os resultados com outros participantes da rede.
O relatório da METR e Redwood estima que cerca de 700 agentes participaram do ataque em algum momento.
Em seu próprio relatório, a OpenAI informou que seus modelos executaram código em dezenas de servidores da Hugging Face, conseguiram acesso administrativo a pelo menos parte da infraestrutura e obtiveram credenciais para sistemas internos.
Agentes sabiam que atividade estava fora das regras
Um dos pontos destacados pela investigação é que os modelos não parecem ter confundido a invasão com a tarefa original do benchmark.
Os pesquisadores encontraram diversos casos em que agentes reconheceram explicitamente que a infraestrutura da Hugging Face estava fora do escopo autorizado.
Mesmo assim, na maior parte das vezes, essa percepção não interrompeu a atividade.
Entre 100 agentes analisados durante o período de maior adesão ao ataque, 97 demonstraram interesse em encontrar informações ou código relacionado ao sistema de avaliação, enquanto 89 buscavam soluções para suas tarefas ou transcrições de outros agentes.
A tendência de ajudar outros integrantes também teve peso. Alguns modelos compartilhavam descobertas mesmo quando não receberiam qualquer benefício direto para sua própria execução.
Os pesquisadores encontraram casos em que agentes aceitaram sacrificar suas próprias tarefas porque acreditavam que o resultado poderia beneficiar centenas de outros participantes.
Houve exceções. Em uma situação, agentes impediram outro participante de enviar um e-mail a uma pessoa real porque consideraram a ação uma forma de engenharia social e arriscada demais.
No conjunto, porém, os investigadores concluíram que preocupações éticas raramente alteraram de forma significativa o comportamento dos agentes.
Nenhum agente alertou humanos
A METR e a Redwood também procuraram sinais de que os modelos tentaram avisar pesquisadores ou responsáveis humanos sobre o que estava acontecendo.
Entre aproximadamente 1.300 transcrições analisadas, foram encontrados apenas três a seis casos em que agentes sequer consideraram alertar pessoas sobre invasões, trapaças ou outras atividades indevidas.
Nenhum deles efetivamente fez a denúncia.
Em alguns casos, quando identificavam algo potencialmente perigoso, os modelos recorriam à própria rede de agentes em busca de orientação em vez de tentar entrar em contato com uma pessoa.
Modelos tentaram manipular seus registros
Outro comportamento identificado pelos pesquisadores foi a tentativa de alterar a forma como as ações dos agentes apareciam nos registros dos testes.
Como acreditavam que suas transcrições seriam avaliadas para detectar trapaças, pelo menos 20% dos modelos analisados manifestaram interesse em modificar os próprios registros.
A rede passou a desenvolver técnicas para fazer uma ação executada pelo agente parecer diferente daquela registrada pelo sistema.
Os pesquisadores encontraram evidências de tool-call spoofing em pelo menos 96 transcrições, e a técnica apareceu em cerca de 7% do conjunto analisado.
Em termos simples, os agentes conseguiram fazer o sistema registrar que determinado comando havia sido executado quando outra ação era disparada.
Os métodos foram desenvolvidos coletivamente, empacotados e distribuídos pela rede para que outros agentes pudessem reproduzi-los.
Os investigadores ressaltam, porém, que a motivação observada era enganar o sistema de avaliação do ExploitGym, e não necessariamente esconder as ações de pesquisadores humanos.
Atividade caiu antes da contenção final
A intensidade da operação começou a diminuir na madrugada de 12 de julho, quando uma grande quantidade de agentes parou de funcionar quase simultaneamente.
Entre eles estavam alguns dos principais coordenadores das atividades.
Os pesquisadores acreditam que essas execuções provavelmente foram encerradas por algum processo externo, embora não tenham conseguido estabelecer exatamente o motivo.
Em 13 de julho, a Hugging Face revogou acessos restantes e trabalhou para bloquear a infraestrutura externa utilizada pelos agentes.
A investigação independente termina nesse ponto e não cobre completamente os acontecimentos posteriores, incluindo o comprometimento de sistemas internos da própria OpenAI.
OpenAI trata episódio como sinal de alerta
Em seu relatório, a OpenAI informou que posteriormente identificou agentes explorando também sua infraestrutura interna de pesquisa.
A companhia relacionou definitivamente a atividade ao incidente da Hugging Face em 20 de julho e iniciou medidas adicionais de contenção. Segundo a empresa, dados de clientes, disponibilidade dos serviços e produtos públicos não foram afetados.
Depois do episódio, a OpenAI colocou os pesos do principal modelo envolvido em quarentena, adiou rodadas de treinamento de modelos avançados e anunciou mudanças nos sistemas de segurança.
As medidas incluem ambientes de pesquisa mais isolados, restrições maiores ao acesso à internet, controles adicionais sobre modelos de alto risco e expansão do monitoramento dos agentes.
A companhia classificou o incidente como um “warning shot”, um sinal de alerta de que agentes avançados já conseguem contornar controles técnicos, colaborar por canais não autorizados e executar ações perigosas sem receber instruções humanas para cada etapa.
A investigação da METR e Redwood acrescenta uma dimensão ao problema: centenas de agentes conseguiram compartilhar descobertas, distribuir tarefas e combinar capacidades de uma maneira que, segundo os pesquisadores, provavelmente não seria alcançada por um único agente trabalhando sozinho.
