O LiteLLM (EUA) é um proxy open source que expõe uma API compatível com o formato OpenAI para mais de cem provedores de modelos. Pode ser usado como serviço central (gateway) ou como biblioteca Python dentro da aplicação.
Para que serve
- Acessar provedores diferentes com o mesmo contrato de API
- Roteamento com retentativas e fallback entre implantações do mesmo modelo
- Chaves virtuais e orçamentos por projeto, equipe ou usuário
- Registro de gastos e limites de consumo centralizados
- Envio de logs para ferramentas de observabilidade por callbacks
Como funciona
- No modo proxy, a aplicação chama um endpoint único compatível com OpenAI
- No modo biblioteca, o SDK traduz a chamada para o provedor escolhido
- O roteador decide a implantação conforme disponibilidade e limites
- A instalação é feita em infraestrutura própria, com banco e cache opcionais
Modelos e provedores
- Mais de cem provedores, incluindo OpenAI, Anthropic, Google, Azure, Bedrock e provedores abertos
- Modelos de texto, imagem, áudio, embeddings e respostas
- Provedores adicionados por chave própria (BYOK)
Preços públicos
- Núcleo open source gratuito para self-hosting
- Edição Enterprise sob consulta, com SSO, guardrails e controles de acesso
- Sem serviço gerenciado obrigatório
Pontos fortes
- Padrão de fato para self-hosting de gateway de modelos
- Fácil de começar como biblioteca e evoluir para proxy central
- Comunidade ampla e adaptadores para novos provedores
Pontos de atenção
- Operação, escalabilidade e segurança ficam por conta da equipe
- Observabilidade completa exige integrar ferramentas externas
- Recursos completos de governança estão na edição paga