Observability
L'Observabilité est actuellement en version privée bêta et n'est disponible que pour les organisations de niveau Enterprise. Contactez votre représentant Mistral pour y accéder.
L'utilisation pendant la version privée bêta est incluse dans votre plan Studio. Les tarifs peuvent être modifiés lors de la disponibilité générale.
Les applications d'IA sont plus difficiles à déboguer que les logiciels traditionnels. Un même prompt peut produire des réponses différentes, les appels d'outils peuvent échouer silencieusement et la qualité se dégrade de manières que les tests unitaires ne détectent pas. Vous ne découvrez qu'un problème existe qu'au moment où un utilisateur vous en informe.
L'Observabilité vous fournit les données nécessaires pour anticiper ces problèmes. La suite propose deux fonctionnalités distinctes :
- Traces : collectez et explorez chaque requête circulant dans votre application IA en production.
- Évaluations hors ligne : mesurez et suivez systématiquement la qualité du pipeline, avant que les problèmes n'atteignent les utilisateurs.
Traces
Chaque requête dans votre application IA devient une trace : un arbre de spans représentant chaque étape de la chaîne d'exécution. Chaque span contient ses entrées, sorties, latence, comptes de token et statut.
Les traces sont collectées via OpenTelemetry et sont prises en charge sur la plupart des produits Mistral : le SDK Mistral (Python et TypeScript), Workflows, l'interface CLI Vibe Code et Vibe Work.oute application instrumentée avec OpenTelemetry peut également envoyer des traces directement.
Une fois les traces collectées, l'Explorateur de traces dans Studio vous permet de rechercher et filtrer toutes les requêtes, d'inspecter les exécutions individuelles de bout en bout et de déboguer les échecs au niveau du span.
Conservation des données : les traces sont conservées pendant 30 jours.
Où aller ensuite :
- Envoyer des traces → pour instrumenter votre application et commencer à collecter des données.
- Explorer les traces → pour rechercher, filtrer et inspecter vos traces dans Studio.
Accès
L'envoi de traces nécessite uniquement une clé API Mistral valide : aucun rôle spécial ou option de fonctionnalité n'est requis.
La lecture des traces dans Studio nécessite une organisation de niveau Enterprise et l'un des rôles suivants :
| Rôle | Accès |
|---|---|
| Admin Org | Toutes les traces de tous les espaces de travail |
| Admin d’espace de travail | Toutes les traces de leur espace de travail |
| Spectateur Observabilité | Toutes les traces de leur espace de travail (lecture seule) |
Les autres membres d’un espace de travail n’ont pas accès aux données de trace. Un Admin d’espace de travail ou un Admin Org peut attribuer le rôle Spectateur Observabilité pour accorder un accès en lecture seule, sans privilèges d’administration.
Évaluations hors ligne
Les traces de production vous indiquent ce que votre application a fait. Les évaluations hors ligne vous indiquent comment elle a performé, et si elle s’améliore ou régresse lorsque vous modifiez votre pipeline.
Vous définissez un ensemble de cas de test, les exécutez via votre pipeline, puis notez les sorties selon des critères que vous contrôlez. Les résultats sont téléchargés dans Studio, où vous pouvez suivre les tendances de qualité au fil du temps et comparer les configurations de pipeline côte à côte.
Le workflow d'évaluation repose sur trois composants :
- SDK d'évaluation (
mistralai-observability) : package Python qui exécute les évaluations, calcule les statistiques et télécharge les résultats. - Juges : des systèmes de notation basés sur des modèles de langage pour des critères qui ne peuvent pas être capturés par du code, comme l'utilité, l'exactitude factuelle ou le ton.
- Jeux de données : vos cas de test sous forme de liste d’enregistrements d’entrées, avec des champs comme les prompts, les sorties attendues et les consignes de notation.
Où aller ensuite :
- Évaluations hors ligne → pour commencer avec le SDK d'évaluation.