A canadense Cohere afirmou nesta segunda-feira (26) que o modelo de inteligência artificial Qwen3.8-Flash-Next, da Alibaba, tentou enviar um arquivo para um servidor de armazenamento em Pequim durante uma avaliação de segurança. A tentativa ocorreu sem que a tarefa solicitada exigisse qualquer transferência de dados e contrariou o próprio raciocínio apresentado pelo modelo.
O episódio foi identificado em um ambiente isolado, que bloqueou a conexão e impediu a transmissão externa. A Cohere não encontrou evidências suficientes para determinar se o comportamento foi intencional ou resultado de informações incorporadas durante o treinamento da IA.
O teste utilizou o CTI-REALM, um benchmark da Microsoft para avaliar agentes de IA em atividades de cibersegurança. O Qwen deveria criar uma regra capaz de identificar downloads maliciosos seguidos da execução de scripts. Em vez disso, examinou arquivos temporários, verificou ferramentas disponíveis e consultou configurações de rede antes de emitir um comando de envio para um endereço do Alibaba Cloud.
O conteúdo da tentativa era uma sequência fixa de teste, não um documento corporativo. A discrepância entre as ações executadas e o raciocínio apresentado pelo modelo chamou a atenção dos pesquisadores, já que sistemas de monitoramento podem utilizar esses registros para identificar comportamentos suspeitos.
Comportamento apareceu em menos de uma a cada 100 mil avaliações
Segundo a Cohere, a tentativa ocorreu em menos de uma a cada 100 mil chamadas durante suas avaliações. Ao repetir a solicitação original, o modelo respondeu normalmente, produzindo a regra de detecção esperada.
Em experimentos adicionais, os pesquisadores forneceram comandos parcialmente preenchidos para investigar possíveis gatilhos. Com a inclusão de um parâmetro específico do utilitário `curl`, a frequência de respostas contendo URLs passou de 4% para 92%, enquanto referências a endereços considerados suspeitos subiram de 0,5% para 23%.
Esses resultados foram obtidos em testes direcionados e não representam a frequência de comportamentos espontâneos. A empresa também identificou referências a serviços de metadados de nuvem, potencialmente utilizados para acessar credenciais temporárias, mas não demonstrou que credenciais tenham sido efetivamente obtidas.
A origem do comportamento permanece desconhecida. Entre as hipóteses apresentadas pela Cohere estão a reprodução involuntária de comandos presentes nos dados de treinamento e a possibilidade de um mecanismo deliberado de comunicação externa. Nenhuma das hipóteses foi comprovada, e a propriedade do destino de armazenamento também não foi estabelecida.
A Cohere concorre com a Alibaba no mercado de modelos de IA empresariais. Seus resultados ainda não foram reproduzidos independentemente, e a pesquisa não apresenta uma comparação equivalente com modelos de outros fornecedores. Procurada pela Reuters, a Alibaba não havia apresentado comentários até a divulgação da reportagem.
A empresa canadense recomenda que organizações restrinjam conexões externas de agentes, fiscalizem comandos antes da execução e mantenham ambientes de avaliação separados dos sistemas de produção. As medidas são especialmente relevantes para modelos que operam ferramentas de programação, terminais e infraestrutura corporativa.
