Échantillonnage

Nous abordons ici les paramètres d'échantillonnage qui influencent les sorties des grands modèles de langage (LLM). Ce guide couvre des paramètres tels que Température, N, Top P, Pénalité de présence et Pénalité de fréquence, et explique comment les ajuster. Que vous souhaitiez générer du contenu créatif ou garantir des réponses précises, la compréhension de ces paramètres est essentielle.

Paramètres d'échantillonnage disponibles

Explorez chaque paramètre et apprenez à ajuster efficacement les sorties des LLM.

N représente le nombre de complétions à retourner pour chaque requête. Ce paramètre est utile lorsque vous souhaitez générer plusieurs réponses pour une seule entrée. Chaque complétion sera une réponse unique générée par le modèle, offrant une variété de sorties parmi lesquelles choisir.

Note

Actuellement, mistral-large-2512 ne prend pas en charge les complétions multiples.

Points clés

Réponses multiples : En définissant N sur une valeur supérieure à 1, vous pouvez obtenir plusieurs réponses pour la même entrée.
Efficacité économique : Les tokens d'entrée ne sont facturés qu'une seule fois, quel que soit le nombre de complétions demandées. Cela rend l'exploration de différentes possibilités économique.

Exemple

Voici un exemple d'utilisation du paramètre N dans l'API :

import os
from mistralai.client import Mistral

api_key = os.environ["MISTRAL_API_KEY"]
model = "ministral-3b-latest"

client = Mistral(api_key=api_key)

chat_response = client.chat.complete(
    model=model,
    messages=[
        {
            "role": "user",
            "content": "What is the best mythical creature? Answer with a single word.",
        },
    ],
    temperature = 1, # Increasing randomness and diversity of the output, this is required to be higher than 0 to have diverse outputs
    n = 10 # Number of completions
)

for i, choice in enumerate(chat_response.choices):
    print(choice.message.content)

import os
from mistralai.client import Mistral

api_key = os.environ["MISTRAL_API_KEY"]
model = "ministral-3b-latest"

client = Mistral(api_key=api_key)

chat_response = client.chat.complete(
    model=model,
    messages=[
        {
            "role": "user",
            "content": "What is the best mythical creature? Answer with a single word.",
        },
    ],
    temperature = 1, # Increasing randomness and diversity of the output, this is required to be higher than 0 to have diverse outputs
    n = 10 # Number of completions
)

for i, choice in enumerate(chat_response.choices):
    print(choice.message.content)

Dans cet exemple, le modèle génère 10 réponses pour le même prompt d'entrée. Cela vous permet de voir une variété de réponses possibles et de choisir celle qui correspond le mieux à vos besoins.