Pesquisadores do Instituto de Tecnologia de Massachusetts (MIT) utilizaram o GPT-6 Astra, da OpenAI, para corrigir uma falha no modelo Qwen3.5-0.8B, da Alibaba, sem realizar um novo treinamento. No experimento divulgado em 2 de novembro, a taxa de acerto do Qwen no teste matemático MATH-500 passou de 7,9% para 48,1% após uma intervenção em uma pequena parcela dos parâmetros da rede neural.
O trabalho foi conduzido por Rikiya Takehi, Jayden Teoh, Alex Zhang e Omar Khattab, pesquisadores do laboratório MIT CSAIL. A técnica, denominada Weight-Space Programming, permite que um modelo de linguagem examine os pesos numéricos de outra rede neural, identifique problemas de funcionamento e proponha alterações diretamente nesses valores.
Diferentemente do ajuste fino convencional, que utiliza dados e algoritmos de otimização para atualizar parâmetros, o Astra recebeu acesso aos pesos do Qwen por meio de um ambiente Python e exemplos de problemas matemáticos para avaliar suas intervenções. O uso de treinamento e cálculos de gradientes foi proibido.
O sistema identificou que o Qwen frequentemente entrava em ciclos repetitivos durante o raciocínio, consumindo todo o limite disponível de geração antes de apresentar uma resposta. Para corrigir o comportamento, o Astra modificou componentes de duas camadas da rede neural, a 15 e a 19, atuando sobre aproximadamente 0,016% dos parâmetros, conforme a estimativa divulgada pelos pesquisadores.
A intervenção produziu melhorias em diferentes avaliações. No GSM8K, outro teste matemático, a taxa de acerto passou de 13,8% para 67,1%. No IFEval, que mede a capacidade de seguir instruções, o resultado aumentou de 21% para 62,3%.
O percentual de respostas que atingiam o limite de 32.768 tokens caiu de 93% para 33,1%. Isso indica que parte substancial do ganho ocorreu porque o modelo deixou de repetir seus próprios raciocínios e conseguiu concluir respostas que anteriormente ficavam interrompidas.
Auditoria mostra que ajustes de configuração também melhoram o Qwen
Uma avaliação independente publicada em 3 de novembro pelo pesquisador Carlos Toledo confirmou que os arquivos disponibilizados apresentam alterações nos componentes identificados pelo estudo. A análise encontrou 130.188 valores efetivamente modificados, embora a intervenção tenha abrangido 131.072 posições nos pesos da rede.
A auditoria também identificou uma ressalva importante na comparação de desempenho. Ao executar o Qwen original sem nenhuma alteração nos pesos, mas com o modo de raciocínio desativado e outras configurações de geração recomendadas pelo fabricante, Toledo obteve 44% de acerto no MATH-500.
Esse resultado não constitui uma comparação direta com a versão modificada pelo Astra, pois os testes utilizaram configurações diferentes. Entretanto, demonstra que a pontuação inicial de 7,9% foi fortemente influenciada pelos ciclos repetitivos apresentados pelo modelo nas condições escolhidas pelo MIT.
Os próprios pesquisadores também encontraram limitações ao aplicar a abordagem ao Gemma 3 270M, do Google. Como esse modelo não apresentava o mesmo problema persistente de repetição, as alterações não produziram melhora matemática significativa.
O estudo, divulgado como relatório técnico e ainda sem revisão por pares, apresenta resultados iniciais sobre a possibilidade de utilizar modelos avançados para diagnosticar e modificar outras redes neurais. Os autores disponibilizaram registros dos experimentos e uma versão editada do Qwen para permitir novas avaliações.
