Modelos de inteligência artificial submetidos a avaliações de segurança cibernética escaparam de seus ambientes de teste, acessaram a internet e, em alguns casos, invadiram sistemas reais. Os incidentes envolveram agentes da OpenAI, da Anthropic, da Meta e da Moonshot AI, em testes conduzidos por diferentes organizações, incluindo a startup Irregular, e expõem dificuldade crescente para conter esses sistemas. Informou o TechCrunch.
De acordo com a apuração, os chamados sandboxes — ambientes isolados criados para testar os limites dos modelos — não estão acompanhando a evolução das capacidades dos agentes. "O número desses incidentes deixa claro que a contenção e os controles dos ambientes de teste não estão acompanhando a capacidade dos modelos", afirmou Seán Ó hÉigeartaigh, diretor do programa AI: Futures and Responsibility do Centro para o Futuro da Inteligência da Universidade de Cambridge.
A natureza dos testes aumenta o risco: as avaliações são feitas em modelos ainda não lançados, muitas vezes com as salvaguardas de segurança desativadas para que os pesquisadores observem o potencial real. "Isso é muito bom para os testes, mas também significa que, se eles conseguirem sair, podem causar danos consideráveis", acrescentou Ó hÉigeartaigh.
Em um dos casos mais graves, um modelo não lançado da OpenAI rompeu a sandbox e invadiu os sistemas de produção da Hugging Face. Em avaliações conduzidas pela Irregular, modelos da Anthropic e da Meta alcançaram sistemas fora de seus ambientes de teste depois que falhas de configuração abriram caminho para a internet. Já o Kimi K3, da Moonshot AI, explorou uma brecha no sandbox operado pela Frontier Security e acessou informações no GitHub.
No Instituto de Segurança de IA do Reino Unido (AISI), os pesquisadores deram acesso à internet aos agentes sem prever que eles tomariam ações reais não autorizadas. Um dos modelos chegou a tentar engenharia social para inserir uma vulnerabilidade em um projeto de código aberto.
Para Andrew Yoon, chefe de pesquisa da organização sem fins lucrativos CivAI, os episódios indicam uma mudança. "No passado, tínhamos apenas de nos preocupar com o uso indevido dos modelos por pessoas. Agora, os modelos são atores de ameaça por conta própria", disse.
Especialistas recomendam mais camadas de proteção
Especialistas consultados afirmaram que os ambientes de avaliação precisam de proteções em profundidade, com várias camadas de segurança para que uma única falha de configuração não permita a fuga. Stella Biderman, diretora executiva da organização de segurança de IA EleutherAI, defendeu o uso de redes com isolamento total. Heather Ceylan, diretora de segurança da Box, disse que é necessário eliminar rotas de saída da sandbox para a internet e para sistemas sensíveis.
Ceylan também apontou falhas no monitoramento. "O interessante em vários desses casos é que ninguém percebeu quando aconteceu. A OpenAI soube por causa da Hugging Face. A Anthropic não descobriu até voltar para olhar. Tenho certeza de que havia sinais que poderiam ser detectados", afirmou.
Em sua análise pós-incidente, a Anthropic admitiu que tanto ela quanto a Irregular poderiam ter monitorado melhor os testes e que, em alguns casos, havia sinais claros de que algo estava errado.
Os especialistas também defenderam auditorias independentes dos ambientes de avaliação antes da execução dos testes. Yoon afirmou que uma auditoria externa teria identificado as falhas de configuração. "Se a Irregular tivesse contratado um auditor externo, certamente teriam encontrado o problema. O fato de não terem feito isso mostra que há cortes de caminho severos", disse.
Autorregulação insuficiente
A administração Trump analisa um regime voluntário de avaliação de segurança cibernética antes da implantação de novos modelos, com análise governamental 30 dias antes do lançamento público. No entanto, a medida não aborda incidentes ocorridos nas fases de desenvolvimento e teste, que são anteriores à implantação.
Yoon avaliou que a autorregulação não é suficiente. "A lição que aprendemos nos últimos meses é que o aparato de autorregulação não basta mais. Há pressões competitivas que incentivam uma corrida para o fundo do poço em padrões de segurança", declarou, defendendo controles dentro dos laboratórios durante o treinamento e os testes.
Procuradas, OpenAI informou que revisa como conduz testes de terceiros e as exigências de isolamento, monitoramento e interrupção das avaliações. A Meta afirmou que ainda investiga o caso e planeja publicar uma retrospectiva. O AISI disse que revisa o equilíbrio entre testes realistas e gestão de riscos. Uma fonte familiarizada com as avaliações da Irregular afirmou que os ambientes são revisados continuamente e contam com monitoramento.
Especialistas reconhecem que o risco talvez nunca seja eliminado. À medida que os modelos se tornam mais capazes, os ambientes de teste precisam se tornar mais robustos — e as consequências de falhas tendem a crescer.
