Itérer en local

Définissez local=True pour exécuter les évaluations sans envoyer les résultats à AI Studio. Utile pour des itérations rapides pendant le développement.

run = await client.evaluation.run(
    dataset=dataset,
    task=task,
    evaluators=[Evaluator(name="accuracy", scorer=scorer)],
    local=True,
)
run.show(level="records")

run = await client.evaluation.run(
    dataset=dataset,
    task=task,
    evaluators=[Evaluator(name="accuracy", scorer=scorer)],
    local=True,
)
run.show(level="records")

En mode local :

• Aucune donnée n’est envoyée à AI Studio.
• Il n’est pas nécessaire de spécifier un project ou une evaluation.
• Les résultats sont uniquement disponibles dans votre terminal ou au format JSON.

1. Itérer en local : définissez local=True et ajustez votre tâche et vos notateurs jusqu’à ce que les résultats semblent corrects.
2. Envoyer vers AI Studio : supprimez local=True et ajoutez project et evaluation pour suivre les résultats au fil du temps.

# Step 1: iterate locally
run = await client.evaluation.run(
    dataset=dataset,
    task=task,
    evaluators=[Evaluator(name="accuracy", scorer=scorer)],
    local=True,
)

# Step 2: happy with results, push to Studio
run = await client.evaluation.run(
    project=Project(name="My Project"),
    evaluation=Evaluation(name="My Eval"),
    dataset=dataset,
    task=task,
    evaluators=[Evaluator(name="accuracy", scorer=scorer)],
)

# Step 1: iterate locally
run = await client.evaluation.run(
    dataset=dataset,
    task=task,
    evaluators=[Evaluator(name="accuracy", scorer=scorer)],
    local=True,
)

# Step 2: happy with results, push to Studio
run = await client.evaluation.run(
    project=Project(name="My Project"),
    evaluation=Evaluation(name="My Eval"),
    dataset=dataset,
    task=task,
    evaluators=[Evaluator(name="accuracy", scorer=scorer)],
)

Exportez les résultats au format JSON pour un traitement ultérieur :

run.show(mode="json", level="records")

run.show(mode="json", level="records")