Guide de démarrage

À la fin de ce guide, vous disposerez de :

• Une vue filtrée de votre trafic de production montrant les conversations pertinentes.
• Un Judge qui identifie et note/labellise automatiquement ces conversations pour vous.
• Une Campagne complétée qui applique le Judge à l'ensemble de votre trafic à grande échelle.
• Un Dataset construit à partir des résultats de la Campagne.

Assurez-vous de disposer de :

• Une Organisation de niveau Entreprise.
• Un accès administrateur aux fonctionnalités Observabilité dans votre Organisation.
• Un trafic de production avec des événements de chat completion.

Cliquez sur Observe puis ouvrez Explorer dans la barre latérale.

Votre objectif est de trouver une combinaison de filtres qui fait ressortir les conversations pertinentes (par exemple, les modes de défaillance, les réponses de faible qualité ou les comportements spécifiques que vous souhaitez examiner).

1. Commencez par une plage temporelle large (par exemple, les 7 derniers jours) et un modèle (par exemple, mistral-medium-2508).
2. Expérimentez avec les filtres jusqu'à trouver une combinaison qui correspond à vos besoins. Par exemple :
   • invoked_tools includes "web_search" pour isoler les conversations utilisant des outils.
   • last_user_message_preview contains "reset password" pour trouver les conversations sur un sujet spécifique.
   • total_time_elapsed > 5 pour trouver les réponses lentes.
3. Cliquez sur les événements individuels pour inspecter les messages, les appels d'outils et les métadonnées.

La vue Explorer avec la barre de filtres affichant model_name = "mistral-medium-2508" et une plage de dates.

Vous avez identifié une combinaison de filtres qui fait ressortir les conversations pertinentes. Vous allez maintenant créer un Judge pour les évaluer automatiquement.

1. Accédez à Judges dans la barre latérale et cliquez sur Create Judge.

2. Sélectionnez un modèle parmi les options disponibles.

3. Fournissez des instructions claires détaillant comment évaluer les conversations. Par exemple :

   Évaluez dans quelle mesure la réponse de l'assistant est utile à la question de l'utilisateur.
   Déterminez si la réponse est précise, pertinente et complète.

   Évaluez dans quelle mesure la réponse de l'assistant est utile à la question de l'utilisateur.
   Déterminez si la réponse est précise, pertinente et complète.

4. Ajoutez des outils (Optionnel) :

   • Activez Web Search pour donner au Judge un accès à internet.
   • Choisissez Code Interpreter pour permettre au Judge d'exécuter son propre code Python.

5. Sélectionnez un type de Judge et fournissez les labels ou plages de scores correspondants :

   • Classification pour des labels discrets (par exemple, helpful / not helpful).
   • Regression pour un score numérique (par exemple, de 0 à 5).

6. Cliquez sur Create Judge, fournissez un nom et une description, puis confirmez.

Le formulaire de création de Judge avec les instructions, le type de sortie et la sélection du modèle.

Une Campagne évalue un ensemble d'événements filtrés et applique votre Judge à ceux-ci. Pour lancer une Campagne :

1. Accédez à Campaigns dans la barre latérale et cliquez sur Create Campaign.
2. Dans le formulaire de création de Campagne :
   • Sélectionnez le Judge que vous avez créé à l'Étape 2.
   • Sélectionnez une plage temporelle (par exemple, les 7 derniers jours).
   • Définissez vos filtres (réutilisez les mêmes conditions de filtrage de l'Étape 1, ou élargissez le périmètre si nécessaire)
   • Limitez le nombre d'événements à traiter (de 100 à 10 000).
3. Cliquez sur Create Campaign, définissez un nom et une description pour la Campagne, puis confirmez.

Les Campagnes s'exécutent en arrière-plan. Consultez ultérieurement le tableau de bord Campaigns pour voir les résultats.

Créez une nouvelle Campagne et appliquez un Judge.

Votre Campagne est terminée. Tous les événements sont désormais annotés avec la sortie du Judge et vous pouvez les enregistrer dans un Dataset :

1. Sélectionnez les événements pertinents (vous pouvez appliquer des filtres supplémentaires).
2. Cliquez sur Actions et choisissez entre ajouter les événements correspondants à un nouveau Dataset ou les ajouter à un Dataset existant.

Félicitations ! Vous avez créé un Dataset organisé et annoté, construit à partir de données de production réelles.

Vous voulez en savoir plus ? Explorez les approfondissements suivants dans la documentation Observabilité :

• Explorer : Interrogez des événements spécifiques et filtrez les logs de production.
• Judges : Concevez des instructions complexes, des schémas et des techniques de validation.
• Campaigns : Annotez des milliers d'événements de production en masse.
• Datasets : Gérez les structures d'enregistrement, la curation et les imports de fichiers.