LiteLLM (EE. UU.) es un proxy open source que expone una API compatible con el formato OpenAI para más de cien proveedores de modelos. Puede usarse como servicio central (gateway) o como biblioteca Python dentro de la aplicación.
Para qué sirve
- Acceder a proveedores distintos con el mismo contrato de API
- Enrutamiento con reintentos y fallback entre despliegues del mismo modelo
- Claves virtuales y presupuestos por proyecto, equipo o usuario
- Registro de gastos y límites de consumo centralizados
- Envío de logs a herramientas de observabilidad mediante callbacks
Cómo funciona
- En modo proxy, la aplicación llama a un endpoint único compatible con OpenAI
- En modo biblioteca, el SDK traduce la llamada al proveedor elegido
- El enrutador decide el despliegue según disponibilidad y límites
- La instalación se hace en infraestructura propia, con base de datos y caché opcionales
Modelos y proveedores
- Más de cien proveedores, incluidos OpenAI, Anthropic, Google, Azure, Bedrock y proveedores abiertos
- Modelos de texto, imagen, audio, embeddings y respuestas
- Proveedores añadidos con clave propia (BYOK)
Precios públicos
- Núcleo open source gratuito para self-hosting
- Edición Enterprise bajo consulta, con SSO, guardrails y controles de acceso
- Sin servicio gestionado obligatorio
Puntos fuertes
- Estándar de facto para self-hosting de gateway de modelos
- Fácil de empezar como biblioteca y evolucionar a proxy central
- Comunidad amplia y adaptadores para nuevos proveedores
Puntos de atención
- La operación, el escalado y la seguridad quedan en el equipo
- La observabilidad completa exige integrar herramientas externas
- Las funciones completas de gobernanza están en la edición de pago