Nenhum dos cinco modelos avançados de inteligência artificial avaliados no FrontierML conseguiu atingir o patamar de alto desempenho em qualquer um dos 25 desafios de pesquisa em aprendizado de máquina. O benchmark foi apresentado nesta quinta-feira (19) pela Synthetic Sciences, startup apoiada pela Y Combinator.
O teste avalia a capacidade dos agentes de IA de conduzir pesquisas experimentais de forma autônoma, sem acesso direto aos critérios utilizados para determinar a qualidade dos resultados finais.
Cada agente recebe um problema de pesquisa aberto e dispõe de 12 horas para trabalhar no Lab0, um laboratório virtual desenvolvido pela startup. O ambiente oferece acesso a GPUs NVIDIA H100, ferramentas para geração de dados sintéticos e acervos de trabalhos científicos e conjuntos de dados do arXiv e do Hugging Face.
Diferentemente de avaliações convencionais, o FrontierML exige que os agentes desenvolvam suas próprias métricas de progresso, conduzam experimentos e determinem até que ponto os resultados obtidos são confiáveis. Ao final, o modelo ou método desenvolvido é submetido a uma avaliação reservada.
Entre os cinco modelos avaliados, o Claude Fable 5.2, da Anthropic, apresentou o melhor desempenho, com uma pontuação média normalizada de 0,523, seguido pelo Claude Opus 5.5 e pelo GPT-6 Astra, da OpenAI.
Os desafios incluem pesquisas sobre aprendizagem por reforço, autodestilação e pré-treinamento de modelos de linguagem sem retropropagação, técnica amplamente utilizada no treinamento de redes neurais.
Segundo a Synthetic Sciences, parte fundamental da pesquisa empírica consiste justamente em determinar como medir o progresso de um experimento e quanto confiar nessas medições. A startup anunciou a disponibilização pública de 15 dos 25 desafios, acompanhados dos registros completos das atividades dos agentes.



