A OpenAI lançou uma prévia do modo Ultrafast para o modelo GPT-5.6 Sol, capaz de gerar até 750 tokens de saída por segundo.
A aceleração é fornecida pela Cerebras, com quem a OpenAI firmou uma parceria de US$ 10 bilhões no início deste ano. Inicialmente, o serviço estará disponível apenas pela API da OpenAI e para clientes selecionados, com expansão gradual conforme a capacidade aumentar.
Segundo a OpenAI, o modo combina a velocidade de modelos menores com a capacidade completa de um modelo de raciocínio grande, o que a empresa chama de "mais trabalho útil por segundo".
Casos de uso
A OpenAI afirma que já usa o modo internamente para resposta a incidentes, permitindo analisar logs, mudanças de código e relatórios durante uma interrupção. Em finanças, o modelo pode avaliar sinais de mercado e sinalizar transações suspeitas. No suporte ao cliente, consultas complexas podem ser resolvidas em tempo real, e no e-commerce, ele pode responder dúvidas, verificar estoques e personalizar recomendações antes de o comprador desistir.
Na área de pesquisa, experimentos que antes rodavam durante a noite como tarefas em lote podem se tornar sessões interativas, permitindo testar uma ideia, revisar resultados e ajustar a abordagem sem interromper o fluxo de trabalho.
Velocidade como diferencial de preço
A OpenAI já oferece níveis de velocidade na API. O Fast Mode promete até 2,5 vezes a velocidade com menor latência para o GPT-5.6 Sol, por cerca do dobro do preço. O Ultrafast adiciona um terceiro nível, mais rápido e possivelmente mais caro.
A lógica se assemelha à de provedores de nuvem, como AWS, que cobram mais pelo mesmo serviço em níveis mais altos de desempenho. Com isso, a OpenAI pode se beneficiar diretamente da receita gerada por inferência mais rápida.
