Home
Vibe
Studio

Sorties prédites

Les sorties prédites optimisent le temps de réponse en s'appuyant sur du contenu connu ou prévisible. Cette approche minimise la latence tout en maintenant une haute qualité de sortie. Dans des tâches telles que l'édition de textes volumineux, la modification de code ou la génération de réponses basées sur des modèles, des portions significatives de la sortie sont souvent prédéterminées. En prédéfinissant ces parties attendues avec les sorties prédites, les modèles peuvent allouer davantage de ressources de calcul aux éléments imprévisibles, améliorant ainsi l'efficacité globale.

Exemple d'utilisation

Exemple d'utilisation

Modification de code

Les sorties prédites sont idéales lorsque vous devez régénérer des documents texte ou des fichiers de code avec des modifications mineures. Le paramètre principal introduit est prediction, qui permet à l’utilisateur de définir les sorties attendues. Par exemple, si vous souhaitez que votre modèle mette à jour le modèle utilisé dans une requête de chat, vous pouvez fournir l’extrait de code que vous souhaitez modifier à la fois en tant que prompt utilisateur et en tant que sortie prédite.

Astuce

Avant d’aller plus loin, nous vous recommandons de consulter la documentation Chat Completions pour en savoir plus sur l’API chat completions et son utilisation.

import os
from mistralai.client import Mistral

api_key = os.environ["MISTRAL_API_KEY"]
model = "mistral-large-2411"

client = Mistral(api_key=api_key)

code = """
response = client.chat.complete(
model="open-mistral-7b",
messages=[
{"role": "user", "content": "Summarize this document."}
]
)
"""

prompt = "Change the model name from open-mistral-7b to open-mistral-nemo. Respond only with code, no explanation, no formatting."

chat_response = client.chat.complete(
  model= model,
  messages = [
    {
      "role": "user",
      "content": prompt,
    },
    {
      "role": "user",
      "content": code
    },
  ],
  prediction = {
    "type": "content",
    "content": code
  }
)
FAQ

FAQ