O Apache APISIX AI Gateway (Estados Unidos, Apache Software Foundation) é a camada de IA do APISIX, um gateway de API open source usado em produção para tráfego HTTP e de streaming. Os plugins de IA transformam a requisição para o formato de cada provedor e normalizam a resposta.
Para que serve
- Expor um endpoint único para provedores diferentes, em formato compatível com OpenAI
- Roteamento simples, ponderado ou por similaridade semântica entre modelos
- Fallback automático quando o provedor responde com erro, limite de taxa ou falha de saúde
- Balanceamento ponderado, consistent hashing e prioridade entre instâncias
- Limites de consumo por tokens e cache exato ou semântico
- Guardrails de prompt, moderação de conteúdo e integração com provedores externos de segurança
- Métricas de tokens, modelo, latência e tempo até o primeiro token via Prometheus ou OpenTelemetry
- Fluxos de RAG com o plugin de recuperação de contexto
Como funciona
- Os plugins ai-proxy e ai-proxy-multi são anexados a rotas do APISIX
- As credenciais dos provedores ficam no gateway, não na aplicação
- O roteamento segue regras declaradas em configuração ou no control plane
- O gateway roda em contêiner, Kubernetes ou máquina própria
- A governança de custos detalhada, como faturamento e chargeback, fica fora do gateway
Modelos e provedores
- Provedores nomeados como OpenAI, Azure OpenAI, Anthropic, DeepSeek, Gemini, Vertex AI, Bedrock e OpenRouter
- Qualquer endpoint compatível com OpenAI pode ser usado
- O catálogo de plugins do APISIX cobre autenticação, limites, transformação e observabilidade
Disponibilidade e licença
- Apache License 2.0, sem custo de licença
- Instalação auto-hospedada em Docker, Kubernetes ou máquina própria
- Sem oferta SaaS mantida pelo próprio projeto
Pontos de atenção
- O controle de custos é parcial: preços, orçamentos e chargeback ficam a cargo de outras ferramentas
- Exige operar e manter um gateway de API
- Recursos adicionais dependem da versão e dos plugins habilitados