Eine einzige API zur Steuerung Ihrer gesamten KI
Das industrielle LLM-Gateway, das alle Ihre Modelle vereint, deren Leistung misst und Prompts sowie Kosten optimiert. Von DINAO installiert und überwacht, bleiben Ihre Inferenzen und Feedbacks auf unseren französischen Servern.
Was ist TensorZero?
TensorZero ist eine Open-Source-Plattform, die in einem einzigen Produkt eine LLM-Gateway-Funktion, Observability, Bewertung, Optimierung und Experimentierung vereint. Sie bietet eine OpenAI-kompatible API, die Zugriff auf alle großen Modellanbieter ermöglicht, und speichert jede Inferenz und jedes Feedback, um anschließend Prompts, Modelle und Inferenzstrategien zu optimieren.
Das Gateway ist in Rust geschrieben, um industrielle Leistung zu erzielen: weniger als eine Millisekunde Latenz im p99 und mehrere tausend Anfragen pro Sekunde. Intelligentes Routing, automatische Fallbacks, Wiederholungen, Cache, Rate Limiting, Kostenverfolgung und A/B-Testing sind nativ integriert, ebenso wie die Unterstützung für strukturierte Ausgaben, Tool Use, Embeddings, Multimodalität und Batch-Verarbeitung.
Bezüglich der Daten stützt sich die Observability auf ClickHouse (empfohlen bei hohem Volumen) oder PostgreSQL (einfachste Konfiguration), und das Deployment erfolgt über Docker oder Kubernetes mit einer GitOps-kompatiblen Konfiguration.
Hosten Sie TensorZero bei DINAO
Ressourcenstufen kompatibel mit den Anforderungen von TensorZero (min. 1 vCPU (gateway 0,5 vCPU + store) / 512 Mo (gateway) + 1 Go (store) / 5 à 10 Go). In Frankreich gehostet, vollständig gemanagt.
- 1 dedizierte vCPUs
- 2 Go RAM
- 20 GB NVMe
- Tägliche Backups
- Gemanagt & überwacht von DINAO
- 2 dedizierte vCPUs
- 4 Go RAM
- 40 GB NVMe
- Tägliche Backups
- Gemanagt & überwacht von DINAO
- 4 dedizierte vCPUs
- 8 Go RAM
- 80 GB NVMe
- Tägliche Backups
- Gemanagt & überwacht von DINAO
- 8 dedizierte vCPUs
- 16 Go RAM
- 160 GB NVMe
- Tägliche Backups
- Gemanagt & überwacht von DINAO
Diese Anwendung nutzt KI
Der Container hostet die Anwendung, nicht die KI-Engine (die dedizierte GPUs erfordert) : Die Inferenz erfolgt extern, mit Ihrem eigenen Anbieter-Schlüssel. Bevorzugen Sie eine souveräne Engine — Mistral AI, NumSpot, Scaleway oder OVHcloud AI Endpoints (Frankreich, DSGVO) ; ein internationaler Anbieter (OpenAI, Anthropic…) nur, wenn eine spezifische Anforderung dies erfordert. Inferenz-Abonnements sind im Hosting nicht enthalten.
Technische Details
Sie fragen sich…
Hostet TensorZero die Modelle selbst?
Nein. TensorZero ist ein Gateway: Es leitet Ihre Anfragen an Anbieter (Anthropic, OpenAI, Mistral…) oder an einen lokalen Inferenzserver weiter. Es vereint den Zugriff, die Observability und die Optimierung – ohne GPU-Anforderungen auf der Instanz.
Muss ich meinen Anwendungscode neu schreiben?
Nein. Die API ist OpenAI-kompatibel: Es reicht, die base_url Ihres SDKs auf Ihre DINAO-Instanz zu zeigen. Anschließend können Sie das Modell oder den Anbieter wechseln, ohne den Code zu berühren.
Wo werden die Daten gehostet?
Auf der DINAO-Infrastruktur in Frankreich, in einem der verfügbaren Rechenzentren. Ihre Inferenz-Logs, Prompts und Feedbacks verlassen das Hoheitsgebiet nicht.
Sind technische Kenntnisse erforderlich?
DINAO übernimmt die Installation, die Backend-Observability (ClickHouse/PostgreSQL), die Sicherheit und die Updates. Ihr technisches Team konzentriert sich auf die Anwendungsintegration und die Analyse der Ergebnisse.
Kann ich das Tarifmodell wechseln oder meine Daten exportieren?
Ja. Sie können jederzeit auf- oder abstufen, und Ihre Inferenzen bleiben exportierbar – keine proprietäre Bindung.
