Itérer en local

Définissez local=True pour exécuter les évaluations sans envoyer les résultats à Studio. C’est utile pour itérer rapidement pendant le développement.

run = await client.evaluation.run(
    dataset=dataset,
    task=task,
    evaluators=[Evaluator(name="accuracy", scorer=scorer)],
    local=True,
)
run.show(level="records")

run = await client.evaluation.run(
    dataset=dataset,
    task=task,
    evaluators=[Evaluator(name="accuracy", scorer=scorer)],
    local=True,
)
run.show(level="records")

En mode local :

• Aucune donnée n’est envoyée à Studio.
• Vous n’avez pas besoin de spécifier project ou evaluation.
• Les résultats sont disponibles uniquement dans votre Terminal ou au format JSON.

1. Itérer en local : définissez local=True et ajustez votre tâche et vos évaluateurs jusqu’à obtenir des résultats corrects.
2. Envoyer vers Studio : supprimez local=True (ou définissez local=False) et ajoutez project et evaluation pour suivre les résultats dans le temps.

# Step 1: iterate locally
run = await client.evaluation.run(
    dataset=dataset,
    task=task,
    evaluators=[Evaluator(name="accuracy", scorer=scorer)],
    local=True,
)

# Step 2: happy with results, push to Studio
run = await client.evaluation.run(
    project=Project(name="My Project"),
    evaluation=Evaluation(name="My Eval"),
    dataset=dataset,
    task=task,
    evaluators=[Evaluator(name="accuracy", scorer=scorer)],
)

# Step 1: iterate locally
run = await client.evaluation.run(
    dataset=dataset,
    task=task,
    evaluators=[Evaluator(name="accuracy", scorer=scorer)],
    local=True,
)

# Step 2: happy with results, push to Studio
run = await client.evaluation.run(
    project=Project(name="My Project"),
    evaluation=Evaluation(name="My Eval"),
    dataset=dataset,
    task=task,
    evaluators=[Evaluator(name="accuracy", scorer=scorer)],
)

Exportez les résultats au format JSON pour un traitement ultérieur :

run.show(mode="json", level="records")

run.show(mode="json", level="records")