OpenLIT ist eine Open-Source-Plattform für KI-Engineering, die sich auf native OpenTelemetry-Observability konzentriert. Mit nur einer Codezeile instrumentiert sie Ihre LLM-Anwendungen und bietet ein Full-Stack-Monitoring, das Sprachmodelle, Vektordatenbanken und GPUs abdeckt.

OpenLIT auto-instrumentiert mehr als 50 Anbieter von LLMs, KI-Frameworks und Vektordatenbanken, wobei jede Integration OpenTelemetry-Traces und -Metriken erzeugt. Ein analytisches Dashboard überwacht die Gesundheit und Leistung Ihrer Anwendungen, die Kosten und die Benutzerinteraktionen. Die Plattform bietet zudem Guardrails, Evaluations, Prompt-Verwaltung, ein Vault für Ihre Secrets und einen Playground.

OpenLIT ist vendor-neutral konzipiert und exportiert seine Daten an jedes kompatible OTLP-Backend (Grafana Tempo, Datadog, Honeycomb, roher OpenTelemetry-Collector …). Es ist das ideale Tool, um Ihre Kosten und die Qualität Ihrer KI-Anwendungen zu messen, zu verstehen und zu kontrollieren, auf einer Infrastruktur, die von DINAO gemanagt wird.