TrueFoundry (Estados Unidos) es un gateway de IA que se sitúa entre las aplicaciones y los proveedores de modelos. La empresa describe el producto como la capa de proxy que también intermedia servidores MCP, lo que coloca LLMs, herramientas y agentes bajo las mismas políticas.
Para qué sirve
- Exponer un endpoint compatible con OpenAI para proveedores distintos
- Crear virtual models que agrupan versiones y proveedores del mismo modelo
- Enrutamiento por peso, latencia, prioridad o de forma adaptativa por costo y disponibilidad
- Fallback y reintentos automáticos cuando un proveedor falla
- Presupuestos, límites de gasto y atribución de costo por equipo o proyecto
- Guardrails propios, externos o aportados por el propio equipo
- Claves virtuales, control de acceso por rol y límites de tasa
- Gateway MCP y gateway de agentes para exponer herramientas con política
Cómo funciona
- Las aplicaciones apuntan al endpoint del gateway, que resuelve el proveedor
- El gateway puede ejecutarse en la nube del proveedor o en la infraestructura del cliente
- Métricas y registros de petición se exportan a herramientas de observabilidad
- La caché semántica y el procesamiento por lotes reducen llamadas repetidas
- Las políticas de acceso y de gasto se aplican antes de que salga la llamada
Modelos y proveedores
- Catálogo declarado de más de mil LLMs
- Proveedores como OpenAI, Anthropic, Gemini, Vertex AI, Bedrock, Azure OpenAI, Mistral, Cohere, Groq, Together, DeepInfra, SambaNova y Cerebras
- Los modelos autoalojados entran como proveedor propio
Disponibilidad y licencia
- Producto propietario, con plan gratuito limitado y planes de pago por usuario
- Despliegue gestionado o en la infraestructura del cliente
- El gateway no es open source; los proyectos adyacentes de la empresa sí
Puntos de atención
- No es código abierto, lo que limita la auditoría y el autoalojamiento sin restricciones
- El plan gratuito tiene límite de usuarios, cuentas de modelo y servidores MCP
- El cobro por petición excedente obliga a vigilar el consumo