O harness certo é tudo: o teste que mudou o placar dos modelos abertos
▶ Assistir no YouTubeSentdex descobriu que o software de inferência muda o placar de modelos locais mais do que o próprio modelo: 20 pontos de diferença só trocando o harness.
Destaques
- Mesmos pesos, 20 tarefas a mais: o DeepSeek V4 Flash saltou de 44/89 para 64/89 no Terminal Bench só trocando o harness Minion pelo OM
- GLM-5.2 quantizado a 3,25 bits por peso segue como melhor modelo local no teste do sentdex, com 73% das tarefas (65/89)
- Hardware é o gargalo silencioso: sem resizable BAR e above 4G decoding, o mesmo rig perde de 30% a 50% de desempenho
- Velocidade em jogo invertido: GLM-5.2 lidera qualidade a ~75 tok/s; DeepSeek V4 Flash chega a 350–400 tok/s
O que era para ser um benchmark virou um experimento revelador: sentdex (Harrison Kinsley) descobriu que o software de inferência — o harness — muda o placar mais do que o próprio modelo.
O experimento que expôs o peso do harness
Sentdex não conseguia validar os números divulgados pelos fornecedores. Trocou o stack de inferência — de vLLM para o harness OM — e os resultados subiram de forma drástica.
Vinte tarefas de diferença — 20 pontos percentuais — obtidas apenas trocando o software que serve o modelo. O mesmo hardware, o mesmo peso, placares diferentes.
O ranking: GLM-5.2 segue na frente — por pouco
No placar final, o melhor modelo local até agora é o GLM-5.2 quantizado a 3,25 bits. O DeepSeek V4 Flash e o Laguna S 2.1 ficam próximos, mas o harness muda quem lidera.
Em velocidade, a história se inverte: o GLM-5.2 decodifica a ~75 tokens por segundo, enquanto o V4 Flash passa dos 130. Depende do que você prioriza.
Hardware: o gargalo invisível
A segunda metade é uma aula de infraestrutura. Sentdex conta a saga para fazer quatro RTX Pro 6000 conversarem entre si sem gargalo de banda.
A topologia final: máquina host → retimer → dois cabos MCIO → switch Gen 5 de 100 lanes → GPUs. O switch elimina o gargalo que limitava o desempenho.
O custo de iterar mais
Nada disso sai de graça. Com o OM, o tempo por solução dobra e o consumo de tokens dispara. Rodar modelos locais de fronteira exige hardware caro e paciência.
Por que acompanhar
O vídeo é um retrato fiel da corrida local de fronteira: quantizações cada vez mais agressivas, harness que muda placares e hardware que vira o fator decisivo.
Para quem avalia IA local, a lição é clara: o modelo é metade da história. O software que o serve pode valer 20 pontos de benchmark.