O TrueFoundry (Estados Unidos) é um gateway de IA que fica entre as aplicações e os provedores de modelos. A empresa descreve o produto como a camada de proxy que também intermedeia servidores MCP, o que coloca LLMs, ferramentas e agentes sob as mesmas políticas.
Para que serve
- Expor um endpoint compatível com OpenAI para provedores diferentes
- Criar virtual models que agrupam versões e provedores do mesmo modelo
- Roteamento por peso, latência, prioridade ou de forma adaptativa por custo e disponibilidade
- Fallback e retentativas automáticas quando um provedor falha
- Orçamentos, limites de gasto e atribuição de custo por equipe ou projeto
- Guardrails próprios, externos ou trazidos pela própria equipe
- Chaves virtuais, controle de acesso por papel e limites de taxa
- Gateway MCP e gateway de agentes para expor ferramentas com política
Como funciona
- As aplicações apontam para o endpoint do gateway, que resolve o provedor
- O gateway pode rodar na nuvem do fornecedor ou na infraestrutura do cliente
- Métricas e registros de requisição são exportados para ferramentas de observabilidade
- Cache semântico e processamento em lote reduzem chamadas repetidas
- Políticas de acesso e de gasto são aplicadas antes de a chamada sair
Modelos e provedores
- Catálogo declarado de mais de mil LLMs
- Provedores como OpenAI, Anthropic, Gemini, Vertex AI, Bedrock, Azure OpenAI, Mistral, Cohere, Groq, Together, DeepInfra, SambaNova e Cerebras
- Modelos auto-hospedados entram como provedor próprio
Disponibilidade e licença
- Produto proprietário, com plano gratuito limitado e planos pagos por usuário
- Implantação gerenciada ou na infraestrutura do cliente
- O gateway não é open source; projetos adjacentes da empresa são
Pontos de atenção
- Não é código aberto, o que limita auditoria e auto-hospedagem irrestrita
- O plano gratuito tem limite de usuários, contas de modelo e servidores MCP
- A cobrança por requisição excedente exige monitorar o consumo