Apache APISIX AI Gateway (Estados Unidos, Apache Software Foundation) es la capa de IA de APISIX, un gateway de API open source usado en producción para tráfico HTTP y de streaming. Los plugins de IA transforman la petición al formato de cada proveedor y normalizan la respuesta.
Para qué sirve
- Exponer un endpoint único para proveedores distintos, en formato compatible con OpenAI
- Enrutamiento simple, ponderado o por similitud semántica entre modelos
- Fallback automático cuando el proveedor responde con error, límite de tasa o fallo de salud
- Balanceo ponderado, consistent hashing y prioridad entre instancias
- Límites de consumo por tokens y caché exacta o semántica
- Guardrails de prompt, moderación de contenido e integración con proveedores externos de seguridad
- Métricas de tokens, modelo, latencia y tiempo hasta el primer token vía Prometheus u OpenTelemetry
- Flujos de RAG con el plugin de recuperación de contexto
Cómo funciona
- Los plugins ai-proxy y ai-proxy-multi se acoplan a rutas de APISIX
- Las credenciales de los proveedores quedan en el gateway, no en la aplicación
- El enrutamiento sigue reglas declaradas en configuración o en el control plane
- El gateway se ejecuta en contenedor, Kubernetes o máquina propia
- La gobernanza detallada de costos, como facturación y chargeback, queda fuera del gateway
Modelos y proveedores
- Proveedores nombrados como OpenAI, Azure OpenAI, Anthropic, DeepSeek, Gemini, Vertex AI, Bedrock y OpenRouter
- Cualquier endpoint compatible con OpenAI puede usarse
- El catálogo de plugins de APISIX cubre autenticación, límites, transformación y observabilidad
Disponibilidad y licencia
- Apache License 2.0, sin costo de licencia
- Instalación autoalojada en Docker, Kubernetes o máquina propia
- Sin oferta SaaS mantenida por el propio proyecto
Puntos de atención
- El control de costos es parcial: precios, presupuestos y chargeback dependen de otras herramientas
- Exige operar y mantener un gateway de API
- Las funciones avanzadas dependen de la versión y de los plugins habilitados