Un unico punto di accesso per tutti i tuoi LLM
La gateway IA open-source LiteLLM, installata e mantenuta da DINAO. Chiama 100+ modelli nel formato OpenAI da un unico punto, ospitato sui nostri server francesi — chiavi, costi e accesso sotto il tuo controllo.
Cos'è LiteLLM ?
LiteLLM è una gateway IA (AI Gateway) open-source che offre un accesso unificato a oltre 100 fornitori di modelli linguistici — OpenAI, Anthropic, Gemini, Bedrock, Azure, Cohere, modelli locali… — il tutto tramite un formato compatibile OpenAI. Chiami qualsiasi LLM con la stessa interfaccia e cambi modello senza riscrivere il codice.
Oltre al routing, LiteLLM offre uno strato di governance : chiavi virtuali per team o progetto, tracciamento delle spese (spend tracking), guardrails, load-balancing, logging e una dashboard di amministrazione. È lo strumento per centralizzare e controllare tutte le chiamate IA di un'organizzazione.
A livello tecnico, il proxy si basa su Python, PostgreSQL in produzione e Redis sotto forte carico, con prestazioni dell'ordine di pochi millisecondi di latenza fino a mille richieste al secondo. Deployato in container da DINAO e instradato verso un modello locale, diventa una gateway sovrana ospitata in Francia.
Alloggia LiteLLM su DINAO
Livelli di risorse compatibili con i requisiti di LiteLLM (1 vCPU / 1 Go / 5 Go minimo). Ospitato in Francia, fully managed.
- 1 vCPU dedicati
- 2 Go di RAM
- 20 Go NVMe
- Backup quotidiani
- Fully managed & supervisionato da DINAO
- 2 vCPU dedicati
- 4 Go di RAM
- 40 Go NVMe
- Backup quotidiani
- Fully managed & supervisionato da DINAO
- 4 vCPU dedicati
- 8 Go di RAM
- 80 Go NVMe
- Backup quotidiani
- Fully managed & supervisionato da DINAO
- 8 vCPU dedicati
- 16 Go di RAM
- 160 Go NVMe
- Backup quotidiani
- Fully managed & supervisionato da DINAO
Questa applicazione utilizza l'IA
Il contenitore ospita l'applicazione, non il motore di IA (che richiede GPU dedicate) : l'inferenza si collega dall'esterno, con la tua chiave del fornitore. Priorità a un motore sovrano — Mistral AI, NumSpot, Scaleway o OVHcloud AI Endpoints (Francia, GDPR) ; un attore internazionale (OpenAI, Anthropic…) solo se una capacità specifica lo richiede. Abbonamenti all'inferenza non inclusi nell'hosting.
Dettagli tecnici
Potrebbe piacerti anche…
Altre applicazioni gestite da DINAO nella stessa categoria, ospitate in Francia e conformi al GDPR.
Ti chiedi…
LiteLLM ospita i modelli o li chiama?
È una gateway : instrada le tue chiamate verso il fornitore di tua scelta, nel formato OpenAI. Puoi puntarla verso un modello locale ospitato da DINAO (sovrano) o verso un'API esterna.
I miei prompt restano in Francia?
La gateway, le sue chiavi e i suoi log girano sulla tua istanza in Francia. Se la instradi verso un modello locale, i tuoi prompt non escono; instradata verso un'API esterna, il contenuto va al fornitore (vedi nota sulla sovranità).
Come controllare i costi e gli accessi?
LiteLLM permette di creare chiavi virtuali per team o progetto, tracciare le spese (spend tracking), impostare quote e guardrails — una governance centralizzata delle tue chiamate IA.
Devo riscrivere il codice per cambiare modello?
No. Tutti i modelli sono esposti nel formato OpenAI : cambi fornitore o modello tramite la configurazione, senza modificare la tua applicazione.
La gateway regge il carico?
Sì. Con PostgreSQL e Redis, LiteLLM gestisce un traffico elevato (circa 1000 req/s) con latenza ridotta. I livelli superiori aggiungono load-balancing e alta disponibilità.
