Endpoints Chat

Le paramètre frequency_penalty pénalise la répétition des mots en fonction de leur fréquence dans le texte généré. Une pénalité de fréquence élevée décourage le modèle de répéter des mots qui sont déjà apparus fréquemment dans la sortie, favorisant ainsi la diversité et réduisant les répétitions.

Le nombre maximum de tokens à générer dans la complétion. Le nombre de tokens de votre prompt plus max_tokens ne peut pas dépasser la longueur de contexte du modèle.

Le ou les prompts pour lesquels générer des complétions, encodés sous forme de liste de dictionnaires avec rôle et contenu.

Identifiant du modèle à utiliser. Vous pouvez consulter la liste de vos modèles disponibles via l'API Lister les modèles, ou voir notre présentation des modèles pour une description détaillée.

Nombre de complétions à renvoyer pour chaque requête, les tokens d'entrée ne sont facturés qu'une seule fois.

Permet d'activer l'appel de fonctions en parallèle lors de l'utilisation d'outils. Lorsque cette option est activée, le modèle peut appeler plusieurs outils simultanément.

Permet de spécifier une complétion attendue, optimisant ainsi les temps de réponse en exploitant un contenu connu ou prévisible.

Le presence_penalty définit à quel point le modèle pénalise la répétition de mots ou de phrases. Une valeur plus élevée encourage le modèle à utiliser une plus grande variété de vocabulaire, rendant la sortie plus diversifiée et créative.

Une clé de cache pour activer la mise en cache des prompts. Si elle est fournie, l’API tentera de réutiliser les tokens précédemment calculés pour les requêtes partageant le même préfixe (par exemple, des conversations multi-tours ou des requêtes avec un prompt système similaire). Les tokens mis en cache sont facturés à 10 % du prix standard des tokens d’entrée.

Options disponibles pour l'argument prompt_mode sur l'endpoint de chat completion. Les valeurs représentent l'intention de haut niveau. L'assignation aux SP réels est gérée en interne. Le système de prompt peut inclure la date limite de connaissances, les capacités du modèle, le ton à utiliser, les directives de sécurité, etc.

La graine à utiliser pour l'échantillonnage aléatoire. Si définie, différents appels génèrent des résultats déterministes.

Contrôle le niveau d'effort de raisonnement pour les modèles de raisonnement. "high" active les traces de raisonnement complètes, "none" désactive l'effort de raisonnement.

Spécifie le format que le modèle doit produire en sortie. Par défaut, il utilise \{ "type": "text" \}. Définir \{ "type": "json_object" \} active le mode JSON, qui garantit que le message généré par le modèle est au format JSON. Lorsque vous utilisez le mode JSON, vous DEVEZ également instruire le modèle de produire du JSON via un message système ou utilisateur. Définir \{ "type": "json_schema" \} active le mode JSON schema, qui garantit que le message généré par le modèle est au format JSON et suit le schéma que vous fournissez.

Détermine si un prompt de sécurité doit être injecté avant toutes les conversations.

Arrête la génération si ce token est détecté. Ou si l'un de ces tokens est détecté lorsqu'un tableau est fourni

Détermine si la progression partielle doit être diffusée en continu. Si activé, les tokens seront envoyés sous forme d'événements serveur contenant uniquement des données au fur et à mesure de leur disponibilité, le flux se terminant par un message data: [DONE]. Sinon, le serveur maintiendra la requête ouverte jusqu'au timeout ou jusqu'à la complétion, la réponse contenant le résultat complet au format JSON.

Température d'échantillonnage à utiliser. Nous recommandons une valeur entre 0,0 et 0,7. Des valeurs plus élevées comme 0,7 rendront la sortie plus aléatoire, tandis que des valeurs plus basses comme 0,2 la rendront plus concentrée et déterministe. Nous recommandons généralement de modifier ce paramètre ou top_p, mais pas les deux. La valeur par défaut varie selon le modèle ciblé. Appelez le endpoint /models pour récupérer la valeur appropriée.

Contrôle quel outil (le cas échéant) est appelé par le modèle. none signifie que le modèle n'appellera aucun outil et générera un message à la place. auto signifie que le modèle peut choisir entre générer un message ou appeler un ou plusieurs outils. any ou required signifie que le modèle doit appeler un ou plusieurs outils. Spécifier un outil particulier via \{"type": "function", "function": \{"name": "my_function"\}\} force le modèle à appeler cet outil.

Échantillonnage par noyau, où le modèle considère les résultats des tokens avec une masse de probabilité top_p. Ainsi 0.1 signifie que seuls les tokens représentant les 10 % supérieurs de la masse de probabilité sont pris en compte. Nous recommandons généralement de modifier ce paramètre ou temperature, mais pas les deux.