O LangDB (Singapura) é um gateway de IA gerenciado que expõe um endpoint compatível com OpenAI para modelos de provedores diferentes. A proposta é concentrar roteamento, políticas e medição em um único ponto, sem que a aplicação conheça cada provedor.
Para que serve
- Chamar modelos de provedores distintos por um endpoint compatível com OpenAI
- Auto Router que escolhe o modelo por custo, velocidade ou disponibilidade
- Targets com fallback e virtual models que agrupam modelos equivalentes
- Guardrails avaliados antes e depois da chamada, com provedores parceiros
- Tracing e analytics por projeto, requisição e modelo
- Controle de custo por projeto, com créditos unificados e limites dinâmicos
- Uso das próprias chaves de provedor ou de créditos do serviço
Como funciona
- A aplicação aponta para o endpoint do serviço e escolhe um modelo ou virtual model
- O gateway resolve o provedor, aplica políticas e registra a requisição
- Regras de roteamento podem considerar custo, latência e disponibilidade
- Tracing segue o padrão OpenTelemetry nos planos que exportam para ferramentas externas
- A edição auto-hospedada roda em contêiner na infraestrutura do cliente
Modelos e provedores
- Catálogo declarado com centenas de modelos
- Provedores comerciais e modelos abertos no mesmo endpoint
- Credenciais próprias por provedor ou créditos unificados do serviço
Disponibilidade e licença
- Serviço gerenciado proprietário, com planos gratuito, Professional, Business e Enterprise
- Execução auto-hospedada disponível em contêiner
- O código aberto do gateway foi descontinuado: o repositório indicado hoje aponta para outro produto, sob licença fair-code
Pontos de atenção
- O gateway não é mais open source; a versão auto-hospedada do projeto original está congelada
- O plano gratuito limita logs e retenção
- Balanceamento de carga entre instâncias não é documentado como recurso dedicado