LangDB (Singapur) es un gateway de IA gestionado que expone un endpoint compatible con OpenAI para modelos de proveedores distintos. La propuesta es concentrar enrutamiento, políticas y medición en un único punto, sin que la aplicación conozca cada proveedor.
Para qué sirve
- Llamar modelos de proveedores distintos por un endpoint compatible con OpenAI
- Auto Router que elige el modelo por costo, velocidad o disponibilidad
- Targets con fallback y virtual models que agrupan modelos equivalentes
- Guardrails evaluados antes y después de la llamada, con proveedores asociados
- Tracing y analytics por proyecto, petición y modelo
- Control de costo por proyecto, con créditos unificados y límites dinámicos
- Uso de claves propias de proveedor o de créditos del servicio
Cómo funciona
- La aplicación apunta al endpoint del servicio y elige un modelo o virtual model
- El gateway resuelve el proveedor, aplica políticas y registra la petición
- Las reglas de enrutamiento pueden considerar costo, latencia y disponibilidad
- El tracing sigue el estándar OpenTelemetry en los planes que exportan a herramientas externas
- La edición autoalojada se ejecuta en contenedor en la infraestructura del cliente
Modelos y proveedores
- Catálogo declarado con cientos de modelos
- Proveedores comerciales y modelos abiertos en el mismo endpoint
- Credenciales propias por proveedor o créditos unificados del servicio
Disponibilidad y licencia
- Servicio gestionado propietario, con planes gratuito, Professional, Business y Enterprise
- Ejecución autoalojada disponible en contenedor
- El código abierto del gateway fue descontinuado: el repositorio indicado hoy apunta a otro producto, bajo licencia fair-code
Puntos de atención
- El gateway ya no es open source; la versión autoalojada del proyecto original está congelada
- El plan gratuito limita logs y retención
- El balanceo de carga entre instancias no está documentado como función dedicada