Intégrations d'observabilité

L'observabilité vous aide à comprendre le comportement des appels de modèle à travers les prompts, outils, étapes de récupération et workflows applicatifs. Utilisez cette page pour choisir les signaux à surveiller et trouver les intégrations tierces pour les applications Mistral.

Une application fondée sur un grand modèle de langage (LLM) peut inclure un seul appel de modèle ou de nombreux appels entre agents, systèmes de récupération et outils. Commencez par collecter assez de contexte pour diagnostiquer le comportement visible par l'utilisateur et comparer les changements dans le temps.

Suivez ces éléments en priorité :

• Entrées : templates de prompt, messages utilisateur, contexte récupéré, entrées d'outils et mémoire utilisée par la requête.
• Configuration du modèle : identifiant du modèle, paramètres de sampling, configuration des outils et options propres à l'application.
• Sorties : texte généré, appels d'outils, sorties structurées, citations et décisions de formatage.
• Signaux d'exécution : latence, usage des tokens, coût, erreurs, retries et codes de statut.
• Signaux de qualité : évaluations, retours humains, annotations et datasets de régression.

Tracez chaque étape qui peut modifier la réponse finale. Pour la génération augmentée par récupération (RAG), tracez la récupération de documents, le classement, l'assemblage du contexte et la génération. Pour les workflows d'agents, tracez chaque appel de modèle, appel d'outil, transfert, retry et réponse finale.

Ces traces vous aident à répondre à des questions opérationnelles :

• Quel prompt, modèle ou outil a produit la réponse ?
• Quels documents récupérés ont influencé la réponse ?
• Où la latence ou le coût a-t-il augmenté ?
• Quelle étape a renvoyé une erreur ou une sortie inattendue ?
• Quels exemples doivent devenir des données d'évaluation ?

Mistral fonctionne avec plusieurs outils d'observabilité via des intégrations SDK, OpenTelemetry et des exemples de cookbooks. Choisissez l'outil qui correspond à votre stack et à vos besoins opérationnels.

Utilisez le cookbook Mistral lorsque vous avez besoin d'exemples d'implémentation plutôt que de pages de configuration propres à un produit :

• Exemples LangChain
• Exemple de tracing Phoenix
• Exemples Weights and Biases
• Exemple de tracing MLflow
• Exemples phospho

Après avoir choisi un outil d'observabilité, définissez les événements importants pour votre application. Nous recommandons de commencer par les entrées du modèle, les sorties du modèle, les appels d'outils, la latence, l'usage des tokens et les erreurs. Ajoutez les datasets d'évaluation et les retours utilisateur une fois les traces de base fiables.