Inférence régionale

Les routes d'inférence régionales acheminent vos requêtes API vers des modèles hébergés dans une région géographique spécifique, garantissant que l'inférence s'effectue dans cette région et que les données traitées n'en sortent jamais. Si vous ne spécifiez pas de région, l'API utilise l'endpoint global de Mistral.

Groupes de régions

Utilisez un endpoint régional lorsque votre application doit traiter les requêtes dans une région géographique spécifique. Chaque groupe de régions correspond à une URL de base dédiée et peut inclure plusieurs data centers dans cette zone géographique.

Groupe de régions	URL de base	Disponibilité	Géographie
`eu`	`api.eu.mistral.ai`	Disponible	Plusieurs data centers dans les pays de l'UE et de l'AELE
`us`	`api.us.mistral.ai`	Bientôt disponible	Plusieurs data centers aux États-Unis

Comment utiliser un endpoint régional

Version du SDK Python ≥ 2.70

Utilisez le paramètre server lors de l'initialisation du client pour préciser la région :

import os
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"], server="eu")
response = client.chat.complete(
    model="mistral-medium-latest",
    messages=[{"role": "user", "content": "What is Mistral AI?"}],
)
print(response.choices[0].message.content)

import os
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"], server="eu")
response = client.chat.complete(
    model="mistral-medium-latest",
    messages=[{"role": "user", "content": "What is Mistral AI?"}],
)
print(response.choices[0].message.content)

Anciennes versions du SDK

Si vous utilisez une ancienne version du SDK, utilisez le paramètre server_url :

from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"], server_url="https://api.eu.mistral.ai/")
list_models_response = client.models.list()
print(list_models_response)

from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"], server_url="https://api.eu.mistral.ai/")
list_models_response = client.models.list()
print(list_models_response)

Utiliser curl

curl https://api.eu.mistral.ai/v1/chat/completions \
  -H "Authorization: Bearer $MISTRAL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "mistral-large-latest",
    "messages": [{"role": "user", "content": "Hello"}]
  }'

curl https://api.eu.mistral.ai/v1/chat/completions \
  -H "Authorization: Bearer $MISTRAL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "mistral-large-latest",
    "messages": [{"role": "user", "content": "Hello"}]
  }'

Modèles disponibles

Les endpoints régionaux ne servent que les modèles hébergés dans cette région. Utilisez models.list sur l'URL de base régionale pour voir quels modèles sont disponibles.

import os
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"], server="eu")
models = client.models.list()
for model in models.data:
    print(model.id)

import os
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"], server="eu")
models = client.models.list()
for model in models.data:
    print(model.id)

Facturation

L'inférence régionale est facturée à 1,1× la tarification standard (majoration de 10 %) pour les tokens d'entrée, les tokens de sortie, les lectures en cache et les écritures en cache.

Limitations

Les appels d'outils ne sont pas pris en charge sur les endpoints régionaux.
Les fonctionnalités à état (Agents, Batch, API Files) ne sont pas disponibles sur les endpoints régionaux.
Les modèles disponibles varient selon la région.