Évaluations en ligne
L'évaluation en ligne applique des juges LLM au trafic de production. Votre application envoie des spans OpenTelemetry à Mistral, et un juge attribue un score aux spans que vous sélectionnez. Chaque score est enregistré dans la télémétrie et rattaché au span évalué. Vous pouvez ainsi le rechercher, le représenter dans un graphique et le consulter depuis la trace.
Aucune évaluation n'a lieu pendant le traitement des requêtes. L'attribution des scores s'exécute de manière asynchrone après l'ingestion et ne peut ni ralentir ni supprimer votre télémétrie.
L'évaluation en ligne est en préversion publique. Si vous rencontrez des problèmes ou souhaitez nous faire part de vos retours, contactez l'Assistance Mistral.
Fonctionnement d'ensemble
Vous configurez deux éléments :
| Objet | Définition | Paramètres gérés |
|---|---|---|
| Évaluateur | Un juge réutilisable : modèle, modèle de prompt, type de sortie. | Prompt, modèle, spécification du résultat. Avec gestion des versions. |
| Évaluation en ligne | Les spans à évaluer et les évaluateurs à utiliser. | Filtre, évaluateurs et correspondance de leurs variables, échantillonnage, activation ou désactivation. |
Une évaluation en ligne associe un ou plusieurs évaluateurs. Pour chaque évaluateur associé, le système crée une configuration de pipeline avec son propre slug (<scorer-slug>-<8 hex>). Ce slug identifie les résultats : chaque score issu de cet évaluateur dans cette évaluation en ligne porte la valeur evaluation_name = "judge:<pipeline-config-slug>".
Pour retrouver des résultats, partez toujours du slug de la configuration de pipeline. Le slug de l'évaluation en ligne et celui de l'évaluateur n'apparaissent pas dans les résultats.
Avant de commencer
- Accès à l’espace de travail. Utilisez un rôle qui permet de gérer les scorers et les évaluations en direct, ainsi que de consulter les résultats. Si l’accès est refusé, demandez à l’administrateur de votre espace de travail de vérifier votre rôle. L’envoi de télémétrie nécessite uniquement une clé API Mistral valide.
- Attributs de span à évaluer. Le prompt d'un juge peut utiliser n'importe quel attribut de span, via une correspondance ou directement avec
attr("key"). Pour évaluer la conversation elle-même, les spans doivent contenirgen_ai.input.messagesetgen_ai.output.messages; le SDK OTel de Mistral les enregistre lorsque l'opération est créée avecinclude_content=True. Consultez le guide de démarrage.
Comportements à connaître
- Les modifications prennent effet sans déploiement. Les workers rechargent la configuration lorsqu'elle change. La création, la mise en pause ou la suppression d'une évaluation en ligne s'applique aux prochains spans reçus.
- Les résultats arrivent rapidement. Les spans sont transmis aux juges quelques millisecondes après l'ingestion, et la plupart des appels aux juges se terminent en quelques secondes.
- Les entrées identiques sont mises en cache. Si le prompt final, le modèle et les paramètres d'un span sont identiques à ceux d'un span précédent, son score est récupéré immédiatement dans le cache, sans appel au modèle.
- Les échecs sont visibles dans la trace d'évaluation. Chaque évaluation s'exécute dans son propre span de trace, lié au span qu'elle évalue. Si l'appel au juge ou la génération du prompt à partir du modèle échoue, le span d'évaluation est marqué comme étant en erreur, avec la raison de l'échec.
- En cas de surcharge, les évaluations sont abandonnées, pas la télémétrie. Si la file d'attente des juges est pleine, l'évaluation du span concerné est abandonnée et comptabilisée dans une métrique.
- Les modifications d'un évaluateur ne s'appliquent pas automatiquement aux évaluations en ligne en cours. Une évaluation en ligne utilise la version de l'évaluateur qui était en vigueur lors de la dernière configuration de ses évaluateurs. Consultez Évaluateurs.