Kong AI Gateway (Estados Unidos) lleva el tráfico de modelos dentro de Kong Gateway, la plataforma de API management de la empresa. En lugar de que cada aplicación hable directo con un proveedor, el gateway normaliza las llamadas, aplica políticas y registra el consumo.
Para qué sirve
- Proxear llamadas de LLM en formato compatible con OpenAI o en passthrough nativo
- Enrutar por nombre de modelo, cabecera, parámetro o similitud semántica
- Failover entre proveedores con reintentos, circuit breaker y prioridad
- Balanceo round robin, consistent hashing, least-busy o semántico
- Cuotas de tokens y caché semántica para controlar el costo
- Guardrails de prompt, saneamiento de datos sensibles e integración con moderación de nube
- Métricas de tokens, latencia y tiempo hasta el primer token
Cómo funciona
- Los plugins de IA se acoplan a rutas y servicios de Kong Gateway
- Las credenciales de los proveedores quedan en el gateway, fuera del código de la aplicación
- El modelo de entidades 2.x declara proveedores, modelos, servidores MCP y agentes
- El control plane puede gestionarse en Konnect con data plane autoalojado
- La auditoría y las métricas van a los destinos de observabilidad configurados
Modelos y proveedores
- Proveedores documentados como OpenAI, Azure AI, Bedrock, SageMaker, Gemini, Anthropic, Cohere, Mistral, xAI y DeepSeek
- Los modelos abiertos servidos localmente por vLLM u Ollama entran como proveedor
- Servidores MCP y agentes pueden exponerse por el mismo gateway
Disponibilidad y licencia
- Kong Gateway es open source bajo Apache-2.0, con los plugins ai-proxy y ai-prompt-guard en el repositorio público
- Los plugins avanzados y el modelo de entidades 2.x forman parte de las ofertas de pago
- Los planes cobran por gateway y por modelo por encima del límite incluido
Puntos de atención
- El modelo más reciente exige control plane gestionado en Konnect
- Las funciones avanzadas de IA son plugins enterprise
- El cobro por modelo obliga a seguir el crecimiento del catálogo