Una única puerta de entrada a todos tus LLM
La pasarela de IA de código abierto LiteLLM, instalada y mantenida por DINAO. Llama a más de 100 modelos en formato OpenAI desde un único punto, alojado en nuestros servidores franceses — claves, costes y acceso bajo tu control.
¿Qué es LiteLLM?
LiteLLM es una pasarela de IA (AI Gateway) de código abierto que ofrece acceso unificado a más de 100 proveedores de modelos de lenguaje — OpenAI, Anthropic, Gemini, Bedrock, Azure, Cohere, modelos locales… — todo ello a través de un formato compatible con OpenAI. Llamas a cualquier LLM con la misma interfaz y cambias de modelo sin reescribir tu código.
Más allá del enrutamiento, LiteLLM aporta una capa de gobernanza : claves virtuales por equipo o proyecto, seguimiento de gastos (spend tracking), guardrails, balanceo de carga, registro de actividad y un panel de administración. Es la herramienta para centralizar y controlar todas las llamadas de IA de una organización.
En el lado técnico, el proxy se basa en Python, PostgreSQL en producción y Redis bajo alta carga, con un rendimiento del orden de unos pocos milisegundos de latencia a un millar de peticiones por segundo. Desplegado en contenedores por DINAO y enrutado a un modelo local, se convierte en una pasarela soberana alojada en Francia.
Aloja LiteLLM en DINAO
Niveles de recursos compatibles con los requisitos de LiteLLM (mínimo 1 vCPU / 1 Go / 5 Go). Alojado en Francia, gestionado.
- 1 vCPU dedicados
- 2 Go de RAM
- 20 Go NVMe
- Copias de seguridad diarias
- Gestionado y supervisado por DINAO
- 2 vCPU dedicados
- 4 Go de RAM
- 40 Go NVMe
- Copias de seguridad diarias
- Gestionado y supervisado por DINAO
- 4 vCPU dedicados
- 8 Go de RAM
- 80 Go NVMe
- Copias de seguridad diarias
- Gestionado y supervisado por DINAO
- 8 vCPU dedicados
- 16 Go de RAM
- 160 Go NVMe
- Copias de seguridad diarias
- Gestionado y supervisado por DINAO
Esta aplicación utiliza IA
El contenedor aloja la aplicación, no el motor de IA (que exige GPUs dedicadas) : la inferencia se conecta externamente, con tu propia clave de proveedor. Prioriza un motor soberano — Mistral AI, NumSpot, Scaleway o OVHcloud AI Endpoints (Francia, GDPR) ; un actor internacional (OpenAI, Anthropic…) solo si una capacidad específica lo exige. Suscripciones de inferencia no incluidas en el alojamiento.
Detalles técnicos
También te gustará…
Otras aplicaciones gestionadas por DINAO en la misma categoría, alojadas en Francia y conformes con el GDPR.
Te preguntas…
¿LiteLLM aloja los modelos o los llama?
Es una pasarela : enruta tus llamadas al proveedor de tu elección, en formato OpenAI. Puedes apuntarla a un modelo local alojado en DINAO (soberano) o a una API externa.
¿Mis prompts permanecen en Francia?
La pasarela, sus claves y sus registros se ejecutan en tu instancia en Francia. Si la enrutas a un modelo local, tus prompts no salen; si la enrutas a una API externa, el contenido se envía al proveedor (ver nota de soberanía).
¿Cómo controlar los costes y los accesos?
LiteLLM permite crear claves virtuales por equipo o proyecto, seguir los gastos (spend tracking), establecer cuotas y guardrails — una gobernanza centralizada de tus llamadas de IA.
¿Debo reescribir mi código para cambiar de modelo?
No. Todos los modelos se exponen en formato OpenAI : cambias de proveedor o de modelo mediante la configuración, sin modificar tu aplicación.
¿Resiste la pasarela la carga?
Sí. Con PostgreSQL y Redis, LiteLLM gestiona un tráfico elevado (del orden de 1000 req/s) con una latencia baja. Los niveles superiores añaden balanceo de carga y alta disponibilidad.
