A Groq é uma plataforma de inferência baseada na arquitetura LPU (Language Processing Unit) da Groq, voltada a executar modelos de IA com foco em baixa latência.
Para que serve
- Executar modelos de linguagem por API
- Atender aplicações com necessidade de resposta rápida
- Rodar modelos abertos e personalizados
Como funciona
- O usuário escolhe um modelo e obtém um endpoint de inferência
- A execução roda em hardware LPU da Groq
- Integra-se a aplicações por API padrão
Arquitetura
- Hardware próprio LPU, desenhado para inferência de linguagem
- Infraestrutura gerenciada pela Groq
Pontos fortes
- Foco em baixa latência
- API padronizada para integração
- Suporte a modelos abertos
Pontos de atenção
- Catálogo focado em modelos compatíveis com o hardware
- Capacidade pode variar em picos de demanda
- Políticas de dados da plataforma se aplicam ao uso