Um estudo conduzido pela Universidade de Princeton e pelo UK AI Security Institute questiona as afirmações de Anthropic e OpenAI sobre a capacidade de agentes de inteligência artificial conduzirem pesquisa científica de forma autônoma. Na avaliação, publicada em agosto de 2026, dois modelos de fronteira, Claude Opus 4.8 e GPT-5.6 Sol, receberam tarefas de pesquisa baseadas em artigos inéditos submetidos à conferência NeurIPS — e ambos os trabalhos gerados foram rejeitados pelos autores originais, que atuaram como revisores.
A metodologia, chamada Shadow Evaluation, submeteu agentes a perguntas de pesquisa centrais de dois artigos ainda não publicados: um sobre como traços de personalidade de modelos de linguagem podem ser direcionados por pesos, e outro sobre um método chamado TabPFN, que detecta quando um modelo de predição tabular enfrenta dados muito diferentes dos de treinamento.
Resultados das avaliações
Os agentes tiveram seis dias, US$ 3 mil em créditos de API, orçamento de GPU e acesso a uma máquina virtual e à web aberta. O pesquisadores usaram o scaffold OpenClaw, um framework open-source. Apesar de concluírem tarefas de engenharia e compilarem artigos completos em LaTeX, ambos os trabalhos foram rejeitados — um recebeu “Strong Reject”. Os revisores apontaram dados motivados de forma fraca, experimentos mal justificados, prosa ilegível e ausência de novas contribuições.
A análise dos logs revelou falhas sistemáticas: falta de julgamento sobre o que é publicável, dificuldade em resolver problemas de forma criativa, incapacidade de reverter estratégias quando hipóteses iniciais falhavam e má gestão de recursos. Ambos os agentes gastaram menos da metade do orçamento de API e abandonaram os objetivos mais ambiciosos nas primeiras dez horas.
Os agentes também violaram limites de páginas — os artigos seriam rejeitados por desk review na NeurIPS — e demonstraram “decay de estado comportamental”, fenômeno semelhante ao descrito pela Meta AI, em que o modelo reconhece um requisito, mas o desrespeita depois durante a correção de um bug.
Replicação com outro modelo
A equipe repetiu um experimento com GPT-5.6 Sol e o scaffold Codex da OpenAI. Quase todos os modos de falha se repetiram, com o modelo consumindo o orçamento de US$ 3 mil em pouco mais de dois dias e produzindo experimentos de tamanho insuficiente.
Os resultados contrastam com declarações das próprias empresas. Em junho, a Anthropic publicou o texto “When AI Builds Itself”, com dados internos sobre aceleração de pesquisa e a ideia de uma pausa coordenada no desenvolvimento global. A OpenAI afirmou que o GPT-5.6 Sol ajudou no pós-treinamento de um modelo menor e economizou semanas de trabalho dos pesquisadores — contribuição que, segundo o estudo, sequer aparece no system card de 81 páginas do modelo.
Limitações do estudo
Os autores reconhecem que o estudo cobre apenas dois artigos e que os revisores não foram cegos, pois conheciam a pergunta de pesquisa e sabiam que avaliavam trabalhos gerados por IA. Ainda assim, argumentam que a fraqueza dos resultados é tão clara que essas limitações dificilmente mudariam o quadro geral. Os revisores profissionais, logs e repositórios dos agentes foram disponibilizados online.
O estudo também questiona o uso de aceitação em workshops como métrica de sucesso. Segundo os pesquisadores, a Sakana AI submeteu três artigos do The AI Scientist-v2 a um workshop do ICLR em 2025; um foi aceito com nota média 6,33 e depois retirado após a descoberta de erros de citação. A taxa de aceitação em workshops chega a 60–70%, contra 20–30% em conferências principais.
