TensorZero es una plataforma de código abierto que unifica en un solo producto una pasarela LLM, la observabilidad, la evaluación, la optimización y la experimentación. Expone una API única compatible con OpenAI que da acceso a todos los principales proveedores de modelos, y conserva cada inferencia y cada feedback para permitir posteriormente optimizar los prompts, los modelos y las estrategias de inferencia.

La pasarela está escrita en Rust para alcanzar un rendimiento industrial: menos de un milisegundo de latencia en el p99 y varios miles de peticiones por segundo. El enrutamiento inteligente, las caídas automáticas (fallbacks), los reintentos, la caché, la limitación de velocidad, el seguimiento de costes y las pruebas A/B están integrados de forma nativa, al igual que el soporte para salidas estructuradas, el uso de herramientas, los embeddings, el contenido multimodal y el procesamiento por lotes (batch).

En cuanto a los datos, la observabilidad se basa en ClickHouse (recomendado para alto volumen) o PostgreSQL (la configuración más sencilla), y el despliegue se realiza mediante Docker o Kubernetes con una configuración compatible con GitOps.