Référence API

Référence des types principaux de l'Evaluation SDK et du point d'entrée principal evaluation.run(). Pour la référence au niveau méthode des opérations avancées, consultez Réessayer les enregistrements en échec, Réévaluer les runs persistés et Optimiser les prompts et les paramètres.

Point d'entrée principal pour exécuter des évaluations.

run = await client.evaluation.run(
    dataset=...,
    task=...,
    evaluators=...,
    # optional parameters below
)

run = await client.evaluation.run(
    dataset=...,
    task=...,
    evaluators=...,
    # optional parameters below
)

Il renvoie un EvaluationRun :

run() marque l'exécution comme "running" pendant son déroulement, puis comme "completed". Si l'exécution lève une exception, elle est marquée "failed" ; si elle est interrompue, "cancelled". Pendant le déroulement de l'exécution, le SDK envoie un heartbeat à Studio, de sorte qu'une exécution dont le processus s'arrête est marquée "cancelled" au lieu de rester en cours.

Un projet regroupe des évaluations liées. Vous pouvez le voir comme un dossier, par exemple « Chatbot QA » ou « RAG Pipeline ».

Project(name="My Project")       # create or get by name
Project(slug="my-project")       # get by slug

Project(name="My Project")       # create or get by name
Project(slug="my-project")       # get by slug

Au moins un des paramètres name ou slug doit être fourni. Un projet sélectionné par son nom est créé s'il n'existe pas ; un projet sélectionné par son slug doit déjà exister.

Sélectionne un jeu de données Studio par son slug ou son UUID. Le SDK récupère ses enregistrements avant le démarrage de l'exécution. Voir Utiliser un jeu de données Studio.

from mistralai.evaluations import Dataset

Dataset(slug="customer-support-golden-set")
Dataset(id="018f879d-20cd-7e9f-a1bc-2f4f08b6f170")

from mistralai.evaluations import Dataset

Dataset(slug="customer-support-golden-set")
Dataset(id="018f879d-20cd-7e9f-a1bc-2f4f08b6f170")

Exactement un des paramètres id et slug doit être fourni, et id doit être un UUID valide. Le jeu de données doit déjà exister : le sélectionner par son slug ne le crée jamais.

Une évaluation est un test nommé que vous exécutez de façon répétée dans le temps, par exemple « Précision sur les prompts French ». Chaque appel à evaluation.run() crée un nouveau run sous cette évaluation, ce qui vous permet de suivre l'évolution des scores d'un run à l'autre.

Evaluation(name="My Eval")       # create or get by name
Evaluation(slug="my-eval")       # get by slug

Evaluation(name="My Eval")       # create or get by name
Evaluation(slug="my-eval")       # get by slug

Au moins un des paramètres name ou slug doit être fourni. Une évaluation sélectionnée par son nom est créée sous le projet indiqué si elle n'existe pas ; une évaluation sélectionnée par son slug doit déjà exister.

Un évaluateur définit la manière de noter chaque enregistrement individuel. Il associe un nom à une fonction de scoring qui reçoit un ScorerContext et renvoie un score.

Evaluator(
    name="accuracy",
    scorer=my_scorer,
    description="Optional description",
    tags=["tag1"],
    num_scores=1,
    goal=Goal.gte(0.8),
)

Evaluator(
    name="accuracy",
    scorer=my_scorer,
    description="Optional description",
    tags=["tag1"],
    num_scores=1,
    goal=Goal.gte(0.8),
)

Un scorer peut renvoyer :

• int ou float — score numérique (statistiques : avg, min, max, std, count).
• str ou bool — score catégoriel (statistiques : fréquences, mode).
• Score(value=..., rationale=..., metadata=...) — score riche avec une explication et des données supplémentaires.

Un évaluateur de run opère sur le jeu complet de résultats après le traitement de tous les enregistrements. Utilisez-le pour les métriques agrégées qui ne peuvent pas être exprimées par enregistrement, comme le score F1, les portes de réussite/échec globales ou l'analyse entre enregistrements.

RunEvaluator(
    name="accuracy_gate",
    scorer=my_run_scorer,
)

RunEvaluator(
    name="accuracy_gate",
    scorer=my_run_scorer,
)

Le scorer reçoit un RunEvaluatorContext qui donne accès à tous les enregistrements, à leurs scores, aux statistiques agrégées et à la configuration système. Consultez le guide des évaluateurs de run pour des exemples.

Fabrique de spécifications d'objectif. Consultez Définir des objectifs pour le guide complet.

from mistralai.evaluations import Goal

Goal.gte(0.8)             # gate: score >= 0.8
Goal.lte(0.1)             # gate: score <= 0.1
Goal.between(0.2, 0.8)    # gate: 0.2 <= score <= 0.8

from mistralai.evaluations import Goal

Goal.gte(0.8)             # gate: score >= 0.8
Goal.lte(0.1)             # gate: score <= 0.1
Goal.between(0.2, 0.8)    # gate: 0.2 <= score <= 0.8

Un Goal est uniquement une porte. Pour déclarer le sens considéré comme meilleur, définissez direction="maximize" / "minimize" sur l'évaluateur. Cette valeur est aussi déduite d'un objectif gte/lte.

Un système capture la configuration qui pilote votre tâche : nom du modèle, température, prompt système, définitions d'outils, etc. Enregistrer ces éléments comme paramètres, plutôt que les coder en dur, les rend visibles dans Studio et vous permet de comparer les runs entre différentes configurations. Consultez Configurer les paramètres système pour plus de détails.

from mistralai.evaluations import System

system = System(name="small-t0", params={"model": "mistral-small-latest", "temperature": 0})

from mistralai.evaluations import System

system = System(name="small-t0", params={"model": "mistral-small-latest", "temperature": 0})

Lorsque system est fourni, il est disponible via ctx.system dans les tâches et les scorers :

async def task(ctx: TaskContext) -> str:
    response = await client.chat.complete_async(
        model=str(ctx.system.params["model"]),
        temperature=float(ctx.system.params["temperature"]),
        messages=[{"role": "user", "content": ctx.input_record["prompt"]}],
    )
    return str(response.choices[0].message.content)

async def task(ctx: TaskContext) -> str:
    response = await client.chat.complete_async(
        model=str(ctx.system.params["model"]),
        temperature=float(ctx.system.params["temperature"]),
        messages=[{"role": "user", "content": ctx.input_record["prompt"]}],
    )
    return str(response.choices[0].message.content)

Consultez Utiliser les objets de contexte pour la référence complète du contexte.