Outscale

Les modèles Mistral AI sont disponibles sur la plateforme Outscale en tant que déploiements managés. Depuis la marketplace Outscale, vous pouvez souscrire à un service Mistral qui, pour votre compte, approvisionnera une machine virtuelle et un GPU, puis y déploiera le modèle. À ce jour, les modèles suivants sont disponibles :

Mistral Small (24.09)
Codestral (24.05)
Ministral 8B (24.10)

Pour plus de détails, consultez la page modèles.

Premiers pas

Les sections suivantes décrivent les étapes pour interroger un modèle Mistral sur la plateforme Outscale.

Déployer le modèle

Suivez les étapes décrites dans la documentation Outscale pour déployer un service avec le modèle de votre choix.

Interroger le modèle (Chat completion)

Les modèles déployés exposent une API REST que vous pouvez interroger à l’aide du SDK Mistral ou via de simples appels HTTP. Pour exécuter les exemples ci-dessous, vous devrez définir les variables d’environnement suivantes :

OUTSCALE_SERVER_URL : L’URL de la VM qui héberge votre modèle Mistral.
OUTSCALE_MODEL_NAME : Le nom du modèle à interroger (ex. : small-2409, codestral-2405).

import os
from mistralai.client import Mistral
client = Mistral(server_url=os.environ["OUTSCALE_SERVER_URL"])
resp = client.chat.complete(
    model=os.environ["OUTSCALE_MODEL_NAME"],
    messages=[
        {
            "role": "user",
            "content": "Who is the best French painter? Answer in one short sentence.",
        }
    ],
    temperature=0
)
print(resp.choices[0].message.content)

import os
from mistralai.client import Mistral
client = Mistral(server_url=os.environ["OUTSCALE_SERVER_URL"])
resp = client.chat.complete(
    model=os.environ["OUTSCALE_MODEL_NAME"],
    messages=[
        {
            "role": "user",
            "content": "Who is the best French painter? Answer in one short sentence.",
        }
    ],
    temperature=0
)
print(resp.choices[0].message.content)

Interroger le modèle (FIM completion)

Codestral peut être interrogé en utilisant un mode de complétion supplémentaire appelé fill-in-the-middle (FIM). Pour en savoir plus, consultez la Fiche du modèle Codestral.

 import os
 from mistralai.client import Mistral
 client = Mistral(server_url=os.environ["OUTSCALE_SERVER_URL"])
 resp = client.fim.complete(
     model=os.environ["OUTSCALE_MODEL_NAME"],
     prompt="def count_words_in_file(file_path: str) -> int:",
     suffix="return n_words"
 )
 print(resp.choices[0].message.content)

 import os
 from mistralai.client import Mistral
 client = Mistral(server_url=os.environ["OUTSCALE_SERVER_URL"])
 resp = client.fim.complete(
     model=os.environ["OUTSCALE_MODEL_NAME"],
     prompt="def count_words_in_file(file_path: str) -> int:",
     suffix="return n_words"
 )
 print(resp.choices[0].message.content)

Pour aller plus loin

Pour plus d’informations et d’exemples, vous pouvez consulter :

La documentation Outscale qui explique comment souscrire à un service Mistral et le déployer.