Référence API du plugin d'évaluation de workflow

Référence de evaluation.run(), son résultat et les imports du plugin. Le plugin réutilise les types du SDK : consultez la référence API du SDK pour Project, Evaluation, Evaluator, RunEvaluator, Goal et System. Pour les autres méthodes, consultez Décorateurs, Optimisation, Rescoring et Blocs de construction.

Exécute une évaluation depuis un workflow. Appelez-le depuis un @workflow.entrypoint.

from mistralai.workflows.plugins.evaluations import evaluation

result = await evaluation.run(
    dataset=...,
    task=...,
    evaluators=...,
    # optional parameters below
)

from mistralai.workflows.plugins.evaluations import evaluation

result = await evaluation.run(
    dataset=...,
    task=...,
    evaluators=...,
    # optional parameters below
)

La concurrence, les délais d'attente et les tentatives se définissent sur les décorateurs, pas sur run().

La fonction renvoie un EvalResult :

EvalResult est un modèle Pydantic : renvoyez result.model_dump() depuis votre workflow pour l'exposer en sortie du workflow.

1. Initialisation : crée le projet, l'évaluation et l'exécution dans Studio, et marque l'exécution comme en cours.
2. Fan-out : démarre un workflow enfant par enregistrement.
3. Par enregistrement : télécharge l'enregistrement en entrée, exécute la tâche et ses scorers pour chaque génération, exécute le callback record_metadata, puis télécharge l'enregistrement en sortie.
4. Statistiques : agrège les scores par évaluateur.
5. Évaluateurs d'exécution : exécute les évaluateurs au niveau de l'exécution et télécharge leurs scores.
6. Métadonnées d'exécution : exécute le callback run_metadata et met à jour l'exécution.
7. Fin : marque l'exécution comme terminée ou échouée.

Pendant l'exécution, le workflow envoie un signal de vie à Studio. Si le worker s'arrête, ou si le workflow est annulé ou interrompu, Studio marque l'exécution comme annulée au lieu de la laisser en cours.

Une tâche ou un scorer en échec est enregistré comme erreur sur son enregistrement ; les autres enregistrements continuent.

Importez les types depuis mistralai.workflows.plugins.evaluations.types. Ce module réexporte uniquement des types du SDK : vous pouvez donc l'importer sans risque depuis du code de workflow s'exécutant dans la sandbox Temporal :

from mistralai.workflows.plugins.evaluations.types import (
    Evaluation,             # Evaluation identifier (name or slug)
    Evaluator,              # Per-record evaluator
    Goal,                   # Pass/fail gate: gte, lte, between
    Project,                # Project identifier (name or slug)
    RecordMetadataContext,  # Context for @evaluation.record_metadata
    RunEvaluator,           # Run-level evaluator
    RunEvaluatorContext,    # Context for @evaluation.run_scorer
    RunMetadataContext,     # Context for @evaluation.run_metadata
    Score,                  # Scorer return type
    ScorerContext,          # Context for @evaluation.scorer
    Statistic,              # Run-level statistic factories
    System,                 # System config (name + params)
    TaskContext,            # Context for @evaluation.task
    Tunable,                # Optimizable parameter slot
    TunableSystem,          # Search space for optimization
)

from mistralai.workflows.plugins.evaluations.types import (
    Evaluation,             # Evaluation identifier (name or slug)
    Evaluator,              # Per-record evaluator
    Goal,                   # Pass/fail gate: gte, lte, between
    Project,                # Project identifier (name or slug)
    RecordMetadataContext,  # Context for @evaluation.record_metadata
    RunEvaluator,           # Run-level evaluator
    RunEvaluatorContext,    # Context for @evaluation.run_scorer
    RunMetadataContext,     # Context for @evaluation.run_metadata
    Score,                  # Scorer return type
    ScorerContext,          # Context for @evaluation.scorer
    Statistic,              # Run-level statistic factories
    System,                 # System config (name + params)
    TaskContext,            # Context for @evaluation.task
    Tunable,                # Optimizable parameter slot
    TunableSystem,          # Search space for optimization
)

L'espace de noms evaluation et les types d'optimisation proviennent de la racine du package :

from mistralai.workflows.plugins.evaluations import (
    evaluation,         # run, rescore, optimize, building blocks, and decorators
    EvalResult,         # Result of run() and rescore()
    GEPA,               # Pareto-based reflective optimizer
    SimpleOptimizer,    # Greedy hill-climb optimizer
    OptimizeResult,     # Result of optimize()
    OptimizeCandidate,  # One candidate in the trajectory
    OptimizeVariant,    # Baseline, winner, or best attempt
    MutatorRequest,     # Input of a custom mutator
    MutatorProposal,    # Output of a custom mutator
)

from mistralai.workflows.plugins.evaluations import (
    evaluation,         # run, rescore, optimize, building blocks, and decorators
    EvalResult,         # Result of run() and rescore()
    GEPA,               # Pareto-based reflective optimizer
    SimpleOptimizer,    # Greedy hill-climb optimizer
    OptimizeResult,     # Result of optimize()
    OptimizeCandidate,  # One candidate in the trajectory
    OptimizeVariant,    # Baseline, winner, or best attempt
    MutatorRequest,     # Input of a custom mutator
    MutatorProposal,    # Output of a custom mutator
)

Mêmes paramètres que la fonction client.evaluation.optimize() du SDK, hormis ceux qui ne s'appliquent pas dans un workflow. Consultez Optimiser les prompts et les paramètres pour les paramètres et algorithmes partagés, et Optimisation pour les spécificités du workflow.