Observability
L'observabilité vous aide à comprendre ce que font vos applications LLM en production, à mesurer la qualité des réponses à grande échelle et à itérer en toute confiance.
L'ensemble de la suite Observability (Explorer, Judges, Campaigns et Datasets) est disponible uniquement pour les organisations de niveau Enterprise.
Ce que fait Observability
La suite Observability vous offre trois capacités essentielles :
- Visibilité : voyez ce qui se passe dans votre trafic de production, événement par événement.
- Signaux de qualité : notez et classifiez automatiquement les réponses de l'assistant avec des Judges alimentés par LLM.
- Boucles d'itération : utilisez les Campaigns pour annoter le trafic à grande échelle et créer des Datasets étiquetés par qualité.
Les quatre composants
Ces capacités reposent sur quatre composants qui fonctionnent ensemble.
Explorer vous permet de rechercher, filtrer et inspecter chaque événement de chat completion circulant dans votre espace de travail.
Vous pouvez explorer des conversations individuelles (incluant messages, appels d'outils et métadonnées) et exporter des portions filtrées vers des Datasets pour une analyse plus approfondie.
Quand l'utiliser ? Vous souhaitez comprendre ce qui se passe en production, enquêter sur un problème de qualité ou trouver des exemples représentatifs pour une analyse ultérieure.
Comment ils se connectent
Le flux typique se déroule de gauche à droite :
Vous n'êtes pas obligé de suivre cette séquence exacte. Ajustez le workflow selon vos besoins spécifiques.
Prochaines étapes
Guide de bout en bout
- Guide de démarrage Observability — Apprenez à configurer un Judge et obtenir un signal de qualité à partir du trafic réel.
Approfondissement des composants
- Explorer — Recherchez, filtrez, inspectez et exportez les événements de production.
- Judges — Concevez et configurez des critères de notation automatisés.
- Campaigns — Lancez des annotations par lot sur le trafic de production en direct.
- Datasets — Créez et gérez des collections organisées d'enregistrements de conversation.