O Kong AI Gateway (Estados Unidos) leva o tráfego de modelos para dentro do Kong Gateway, a plataforma de API management da empresa. Em vez de cada aplicação falar direto com um provedor, o gateway normaliza as chamadas, aplica políticas e registra o consumo.
Para que serve
- Proxear chamadas de LLM em formato compatível com OpenAI ou em passthrough nativo
- Roteamento por nome de modelo, cabeçalho, parâmetro ou similaridade semântica
- Failover entre provedores com retentativas, circuit breaker e prioridade
- Balanceamento round robin, consistent hashing, least-busy ou semântico
- Cotas de tokens e cache semântico para controlar custo
- Guardrails de prompt, sanitização de dados sensíveis e integração com moderação de nuvem
- Métricas de tokens, latência e tempo até o primeiro token
Como funciona
- Plugins de IA são acoplados a rotas e serviços do Kong Gateway
- Credenciais dos provedores ficam no gateway, fora do código da aplicação
- O modelo de entidades 2.x declara provedores, modelos, servidores MCP e agentes
- O control plane pode ser gerenciado no Konnect com data plane auto-hospedado
- Auditoria e métricas seguem para os destinos de observabilidade configurados
Modelos e provedores
- Provedores documentados como OpenAI, Azure AI, Bedrock, SageMaker, Gemini, Anthropic, Cohere, Mistral, xAI e DeepSeek
- Modelos abertos servidos localmente por vLLM ou Ollama entram como provedor
- Servidores MCP e agentes podem ser expostos pelo mesmo gateway
Disponibilidade e licença
- Kong Gateway é open source sob Apache-2.0, com os plugins ai-proxy e ai-prompt-guard no repositório público
- Plugins adicionais e o modelo de entidades 2.x fazem parte das ofertas pagas
- Planos cobram por gateway e por modelo acima do limite incluído
Pontos de atenção
- O modelo mais recente exige control plane gerenciado no Konnect
- Recursos adicionais de IA são plugins enterprise
- A cobrança por modelo exige acompanhar o crescimento do catálogo