Um sistema automatizado desenvolvido pela Anthropic obteve resultados superiores aos melhores participantes humanos em 23 de 24 comparações de segurança, segundo dados divulgados pela empresa na segunda-feira (19). A ferramenta foi criada para identificar maneiras de contornar mecanismos que impedem o uso de modelos de inteligência artificial em atividades de alto risco.
Na comparação restante, o sistema igualou o melhor resultado humano. A Anthropic afirma que a ferramenta completou os testes em 24 a 48 horas, enquanto os programas de recompensas utilizados como referência permaneceram abertos durante semanas ou meses.
O resultado permitiu à companhia concluir antecipadamente uma meta de seu Frontier Safety Roadmap, originalmente prevista para janeiro de 2027. O objetivo foi considerado cumprido em 6 de outubro e formalmente retirado do roteiro de segurança no dia 19.
Como a Anthropic comparou automação e pesquisadores humanos
A avaliação utilizou oito desafios de programas de recompensas e três gerações de classificadores de segurança empregados em produção, totalizando 24 combinações.
Esses classificadores funcionam como barreiras destinadas a identificar e bloquear solicitações perigosas. Os testes se concentraram em proteções relacionadas a armas biológicas, nas quais pesquisadores tentavam encontrar técnicas capazes de contornar as restrições.
Os resultados automatizados foram comparados às melhores submissões humanas recebidas nos programas realizados entre 20 de abril e 11 de setembro de 2026.
A Anthropic considera que as vulnerabilidades identificadas pelo sistema automatizado foram, em conjunto, mais substanciais do que as descobertas pelos participantes desses programas. Essa avaliação atende ao critério estabelecido anteriormente pela empresa para considerar a meta concluída.
Os números, porém, não demonstram superioridade geral da IA sobre especialistas em segurança. A comparação abrange um conjunto específico de desafios e mecanismos de proteção, e os resultados foram divulgados pela própria Anthropic, sem validação independente apresentada.
A companhia informou que pretende publicar um relatório técnico mais aprofundado sobre o experimento, mas ainda não estabeleceu uma data para sua divulgação.
