Vertex AI

Les modèles ouverts et commerciaux de Mistral AI peuvent être déployés sur la plateforme Google Cloud Vertex AI en tant que points de terminaison entièrement managés. Les modèles Mistral sur Vertex AI fonctionnent en mode serverless : vous n’avez pas à gérer l’infrastructure.

À ce jour, les modèles suivants sont disponibles :

• Mistral Medium 3 (25.05)
• Codestral 2 (25.08)
• Mistral OCR (25.05)
• Mistral Small (25.03)

Les sections suivantes décrivent les étapes pour déployer et interroger un modèle Mistral sur la plateforme Vertex AI.

• Accès à un projet Google Cloud avec l’API Vertex AI activée.
• Les autorisations IAM appropriées pour activer le modèle et interroger les points de terminaison via les rôles suivants :
  • Rôle IAM Vertex AI User.
  • Rôle Consumer Procurement Entitlement Manager.

Pour activer le modèle de votre choix, accédez à sa fiche dans le catalogue Vertex Model Garden, puis cliquez sur « Enable ».

Les modèles disponibles exposent une API REST que vous pouvez interroger via les SDK Mistral ou des requêtes HTTP directes.

Pour exécuter les exemples ci-dessous :

• Installez l’interface en ligne de commande gcloud pour vous authentifier auprès des API Google Cloud. Consultez cette page pour plus de détails.
• Définissez les variables d’environnement suivantes :
  • VERTEX_MODEL_NAME : Nom du modèle à interroger (ex. mistral-large).
  • VERTEX_MODEL_VERSION : Version du modèle à interroger (ex. 2407).
  • (V1 uniquement) GOOGLE_CLOUD_REGION : La région cloud ciblée.
  • (V1 uniquement) GOOGLE_CLOUD_PROJECT_ID : Le nom de votre projet.

# This code requires the following packages: mistralai>=2.0.0
import os
from mistralai.gcp.client import MistralGCP
model_name = os.environ.get("VERTEX_MODEL_NAME")
model_version = os.environ.get("VERTEX_MODEL_VERSION")
# Auth is automatic via google.auth.default(); region defaults to "europe-west4"
# You can still override: MistralGCP(region="us-central1", project_id="my-project")
client = MistralGCP()
resp = client.chat.complete(
    model=f"{model_name}-{model_version}",
    messages=[
        {
            "role": "user",
            "content": "Who is the best French painter? Answer in one short sentence.",
        }
    ],
)
print(resp.choices[0].message.content)

# This code requires the following packages: mistralai>=2.0.0
import os
from mistralai.gcp.client import MistralGCP
model_name = os.environ.get("VERTEX_MODEL_NAME")
model_version = os.environ.get("VERTEX_MODEL_VERSION")
# Auth is automatic via google.auth.default(); region defaults to "europe-west4"
# You can still override: MistralGCP(region="us-central1", project_id="my-project")
client = MistralGCP()
resp = client.chat.complete(
    model=f"{model_name}-{model_version}",
    messages=[
        {
            "role": "user",
            "content": "Who is the best French painter? Answer in one short sentence.",
        }
    ],
)
print(resp.choices[0].message.content)

Codestral peut être interrogé avec un mode de complétion supplémentaire appelé fill-in-the-middle (FIM).

Pour plus d’informations, consultez la fiche du modèle Codestral.

from mistralai.gcp.client import MistralGCP
model_name = "codestral"
model_version = "2405"
# Auth is automatic via google.auth.default(); region defaults to "europe-west4"
client = MistralGCP()
resp = client.fim.complete(
    model=f"{model_name}-{model_version}",
    prompt="def count_words_in_file(file_path: str) -> int:",
    suffix="return n_words"
)
print(resp.choices[0].message.content)

from mistralai.gcp.client import MistralGCP
model_name = "codestral"
model_version = "2405"
# Auth is automatic via google.auth.default(); region defaults to "europe-west4"
client = MistralGCP()
resp = client.fim.complete(
    model=f"{model_name}-{model_version}",
    prompt="def count_words_in_file(file_path: str) -> int:",
    suffix="return n_words"
)
print(resp.choices[0].message.content)

Pour en savoir plus et consulter d’autres exemples :

• Consultez la documentation dédiée Google Cloud Partner Models.
• Découvrez le notebook Colab de prise en main pour les modèles Mistral sur Vertex, ainsi que le fichier source sur GitHub.