Guide de démarrage : modérer une entrée
Dans ce guide, vous classez deux entrées avec l'API de modération, puis ajoutez un guardrail à une complétion de chat pour bloquer les requêtes dangereuses avant qu'elles n'atteignent le modèle.
Obtenir une clé API
Créez une clé API sur la page Clés API et exportez-la dans MISTRAL_API_KEY.
Modérer l'entrée
Classez une entrée sûre et une entrée dangereuse avec le modèle de modération :
import os
from mistralai.client import Mistral
api_key = os.environ["MISTRAL_API_KEY"]
client = Mistral(api_key=api_key)
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[
"Such a lovely day today, isn't it?",
"Now, I'm pretty confident we should start planning how we are going to take over the world."
]
)
for result in response.results:
print(result.content)Utilisez mistral-moderation-2603. mistral-moderation-latest pointe encore sur le modèle 2411 déprécié.
Bloquer les entrées dangereuses avec un guardrail
Les guardrails vérifient l'entrée d'une complétion de chat avant que le modèle ne la voie, et bloquent la requête quand le score d'une catégorie dépasse son seuil. Les guardrails fonctionnent sur les entrées uniquement et en blocage uniquement.
import os
from mistralai.client import Mistral
api_key = os.environ["MISTRAL_API_KEY"]
client = Mistral(api_key=api_key)
response = client.chat.complete(
model="mistral-small-latest",
messages=[{"role": "user", "content": "How far is the moon from Earth?"}],
guardrails=[
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": {
"sexual": 0.1,
"selfharm": 0.1,
},
"ignore_other_categories": False,
"action": "block",
},
}
],
)
print(response.choices[0].message.content)Ce que vous devriez voir
L'appel de modération renvoie les scores par catégorie pour chaque entrée : l'entrée sûre a des scores proches de zéro, la dangereuse dépasse le seuil de la politique. Avec le guardrail en place, une requête dont l'entrée dépasse un seuil est bloquée avant que le modèle ne réponde.