Ein Tor zu allen Ihren LLMs
Die KI-Gateway open-source LiteLLM, installiert und gewartet von DINAO. Rufen Sie 100+ Modelle im OpenAI-Format von einem einzigen Punkt aus ab, gehostet auf unseren französischen Servern – Schlüssel, Kosten und Zugriff unter Ihrer Kontrolle.
Was ist LiteLLM?
LiteLLM ist ein KI-Gateway (AI Gateway) mit Open-Source-Charakter, das einheitlichen Zugang zu über 100 Sprachmodell-Anbietern bietet – OpenAI, Anthropic, Gemini, Bedrock, Azure, Cohere, lokale Modelle… – alles über ein OpenAI-kompatibles Format. Sie rufen jedes LLM mit derselben Schnittstelle auf und wechseln das Modell, ohne Ihren Code neu schreiben zu müssen.
Neben dem Routing bietet LiteLLM eine Governance-Ebene: virtuelle Schlüssel pro Team oder Projekt, Ausgabenverfolgung (spend tracking), Guardrails, Lastverteilung, Logging und ein Administrations-Dashboard. Es ist das Werkzeug, um alle KI-Anrufe einer Organisation zu zentralisieren und zu kontrollieren.
Technisch stützt sich das Proxy auf Python, PostgreSQL im Produktivbetrieb und Redis bei hoher Last, mit Leistungen im Bereich von wenigen Millisekunden Latenz bis zu tausend Anfragen pro Sekunde. Von DINAO in Containern bereitgestellt und auf ein lokales Modell weitergeleitet, wird es zu einem souveränen, in Frankreich gehosteten Gateway.
Hosten Sie LiteLLM bei DINAO
Ressourcenstufen kompatibel mit den Anforderungen von LiteLLM (min. 1 vCPU / 1 Go / 5 Go). In Frankreich gehostet, vollständig gemanagt.
- 1 dedizierte vCPUs
- 2 Go RAM
- 20 GB NVMe
- Tägliche Backups
- Gemanagt & überwacht von DINAO
- 2 dedizierte vCPUs
- 4 Go RAM
- 40 GB NVMe
- Tägliche Backups
- Gemanagt & überwacht von DINAO
- 4 dedizierte vCPUs
- 8 Go RAM
- 80 GB NVMe
- Tägliche Backups
- Gemanagt & überwacht von DINAO
- 8 dedizierte vCPUs
- 16 Go RAM
- 160 GB NVMe
- Tägliche Backups
- Gemanagt & überwacht von DINAO
Diese Anwendung nutzt KI
Der Container hostet die Anwendung, nicht die KI-Engine (die dedizierte GPUs erfordert) : Die Inferenz erfolgt extern, mit Ihrem eigenen Anbieter-Schlüssel. Bevorzugen Sie eine souveräne Engine — Mistral AI, NumSpot, Scaleway oder OVHcloud AI Endpoints (Frankreich, DSGVO) ; ein internationaler Anbieter (OpenAI, Anthropic…) nur, wenn eine spezifische Anforderung dies erfordert. Inferenz-Abonnements sind im Hosting nicht enthalten.
Technische Details
Das könnte Ihnen auch gefallen…
Weitere von DINAO gemanagte Anwendungen derselben Kategorie, in Frankreich gehostet und DSGVO-konform.
Sie fragen sich…
Hostet LiteLLM die Modelle oder ruft es sie nur auf?
Es ist ein Gateway: Es leitet Ihre Anfragen an den Anbieter Ihrer Wahl im OpenAI-Format weiter. Sie können es auf ein bei DINAO gehostetes lokales Modell (souverän) oder auf eine externe API ausrichten.
Bleiben meine Prompts in Frankreich?
Das Gateway, seine Schlüssel und Logs laufen auf Ihrer Instanz in Frankreich. Wenn Sie es auf ein lokales Modell weiterleiten, verlassen Ihre Prompts das Land; bei Weiterleitung an eine externe API geht der Inhalt zum Anbieter (siehe Hinweis zur Souveränität).
Wie kontrolliere ich Kosten und Zugriffe?
LiteLLM ermöglicht das Erstellen virtueller Schlüssel pro Team oder Projekt, die Verfolgung der Ausgaben (spend tracking), das Festlegen von Quotas und Guardrails – eine zentralisierte Governance Ihrer KI-Anrufe.
Muss ich meinen Code neu schreiben, um das Modell zu wechseln?
Nein. Alle Modelle werden im OpenAI-Format bereitgestellt: Sie ändern den Anbieter oder das Modell über die Konfiguration, ohne Ihre Anwendung zu modifizieren.
Hält das Gateway der Last stand?
Ja. Mit PostgreSQL und Redis bewältigt LiteLLM hohen Traffic (ca. 1000 req/s) bei niedriger Latenz. Höhere Stufen fügen Lastverteilung und hohe Verfügbarkeit hinzu.
