Campagnes

Les Campagnes permettent d'annoter en lot le trafic de production à l'aide d'un Judge. Vous définissez un filtre, sélectionnez un Judge, et la Campagne exécute le Judge sur chaque événement correspondant, en écrivant les annotations dans Explorer.

Les Campagnes sont l'outil adapté lorsque vous souhaitez évaluer le trafic de production existant à grande échelle. Scénarios courants :

• Détecter les comportements problématiques : votre agent peut être impoli, hors-sujet ou donner des réponses inexactes. Lancez une Campagne avec un Judge d'impolitesse ou de qualité pour le découvrir.
• Taguer le trafic pour l'analyse : classifiez un lot d'événements (par exemple, code / search / general) et filtrez par catégorie dans Explorer.
• Créer des Datasets annotés : exécutez une Campagne, puis exportez les événements annotés vers un Dataset.

Prérequis : créer un Judge

Avant de créer une Campagne, vous avez besoin d'un Judge qui définit vos critères de qualité.

Une Campagne utilise un seul Judge. Pour effectuer plusieurs vérifications sur le même trafic, créez des Campagnes distinctes.

Étape 1 : Filtrer les événements

Sélectionnez une plage temporelle, puis ajoutez des conditions de filtrage pour affiner le périmètre (voir syntaxe des filtres Explorer).

Étape 2 : Lancer la Campagne

Démarrez la Campagne. Elle s'exécute en arrière-plan : vous pouvez fermer l'onglet et vérifier la progression ultérieurement dans les détails de la Campagne.

Étape 3 : Analyser les résultats

Une fois terminés, les événements correspondants apparaissent avec annotations dans la colonne sortie du Judge. À partir de là, vous pouvez :

• Filtrer par valeur d'annotation pour faire remonter les événements signalés (par exemple, étiquetés rude ou notés en dessous de 3).
• Inspecter les événements individuels pour vérifier les évaluations du Judge.
• Exporter vers un Dataset pour examen ou analyse complémentaire.

Le SDK permet de créer et surveiller des Campagnes depuis le code. Utile pour les vérifications de qualité planifiées, les pipelines d'alerte automatisés ou l'intégration CI/CD.

import os
from mistralai.client import Mistral

mistral = Mistral(
    api_key=os.getenv("MISTRAL_API_KEY", ""),
)

# Create a Campaign to annotate last week's support conversations
campaign = mistral.beta.observability.campaigns.create(
    name="Support Quality Review - Week 3",
    description="Evaluate quality of customer support responses from last week",
    judge_id="judge-456",  # replace with your Judge ID
    search_params={
        "filters": {
            "AND": [
                {"field": "timestamp", "op": "gte", "value": "2026-01-15T00:00:00Z"},
                {"field": "timestamp", "op": "lt", "value": "2026-01-22T00:00:00Z"},
                {"field": "model_name", "op": "eq", "value": "mistral-medium-2508"}
            ]
        }
    },
    max_nb_events=5000
)

print(f"Campaign created: {campaign.id} — {campaign.name}")

import os
from mistralai.client import Mistral

mistral = Mistral(
    api_key=os.getenv("MISTRAL_API_KEY", ""),
)

# Create a Campaign to annotate last week's support conversations
campaign = mistral.beta.observability.campaigns.create(
    name="Support Quality Review - Week 3",
    description="Evaluate quality of customer support responses from last week",
    judge_id="judge-456",  # replace with your Judge ID
    search_params={
        "filters": {
            "AND": [
                {"field": "timestamp", "op": "gte", "value": "2026-01-15T00:00:00Z"},
                {"field": "timestamp", "op": "lt", "value": "2026-01-22T00:00:00Z"},
                {"field": "model_name", "op": "eq", "value": "mistral-medium-2508"}
            ]
        }
    },
    max_nb_events=5000
)

print(f"Campaign created: {campaign.id} — {campaign.name}")