OpenLIT è una piattaforma open source di ingegneria IA incentrata sull'osservabilità nativa OpenTelemetry. Con una singola riga di codice, strumenta le tue applicazioni LLM e ti offre un monitoraggio full-stack che copre i modelli linguistici, i database vettoriali e le GPU.

OpenLIT auto-strumenta oltre 50 fornitori di LLM, framework IA e database vettoriali, con ogni integrazione che produce tracce e metriche OpenTelemetry. Una dashboard analitica monitora la salute e le prestazioni delle tue applicazioni, i costi e le interazioni degli utenti. La piattaforma offre anche guardrail, valutazioni, gestione dei prompt, un Vault per i tuoi segreti e un Playground.

Pensata per essere vendor-neutral, OpenLIT esporta i suoi dati verso qualsiasi backend compatibile OTLP (Grafana Tempo, Datadog, Honeycomb, collector OpenTelemetry grezzo…). È lo strumento ideale per misurare, comprendere e controllare i costi e la qualità delle tue applicazioni IA, su un'infrastruttura gestita da DINAO.