Utiliser des modèles hors ligne

Le CLI Vibe Code prend en charge tout modèle accessible via une API compatible OpenAI. Vous pouvez déployer Devstral sur votre propre infrastructure et y connecter le CLI. Utile si vous avez besoin d’une inférence locale, d’un accès internet restreint, ou d’un contrôle total sur la destination de votre code.

Nous recommandons ces modèles open source pour une utilisation locale :

• Devstral Small 2 : dense, 24B, optimisé pour les tâches de type agent et de code. Empreinte matérielle réduite.
• Mistral Small 4 : 119B Mixture of Experts avec 6,5B de paramètres actifs. Raisonnement hybride et génération de code, contexte 256k.

Pour de bonnes performances sur de longs contextes, nous recommandons un déploiement en précision FP8 avec une longueur de contexte autour de 128k :

• H100 ou A100 GPU pour FP8 / 128k
• RTX 4090 ou toute autre carte avec 24 Go de VRAM pour une précision 4 bits et un contexte de 32k
• CPU offload : fonctionne aussi sur toute machine avec suffisamment de RAM, mais c’est beaucoup plus lent

Adaptez la précision et la longueur du contexte selon le modèle et le matériel dont vous disposez.

Nous recommandons vLLM pour servir Devstral.

Lancer Devstral Small 2 sur le port 8080 :

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --port 8080

vllm serve mistralai/Devstral-Small-2-24B-Instruct-2512 \
  --tool-call-parser mistral \
  --enable-auto-tool-choice \
  --port 8080

Le port 8080 correspond au préréglage de fournisseur llamacpp intégré à Vibe. Si votre serveur écoute sur un autre port, ajustez api_base en conséquence.

Options utiles :

• --tensor-parallel-size pour utiliser plusieurs GPU
• --dtype pour choisir une précision plus faible
• --max-model-len pour réduire la longueur du contexte

Devstral fonctionne sur tout framework d’inférence exposant une API compatible OpenAI. Quelques solutions populaires :

• vLLM (recommandé)
• llama.cpp
• LM Studio
• Ollama

Vibe n'est pas livré avec un modèle local intégré. Une fois votre serveur démarré, ajoutez un fournisseur et un préréglage de modèle pour celui-ci dans config.toml. Consultez Clés API et profils et Configuration pour la syntaxe des préréglages.

Un exemple minimal pour un serveur local compatible OpenAI sur le port 8080 :

active_model = "devstral-local"

[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"

[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"

active_model = "devstral-local"

[[providers]]
name = "local"
api_base = "http://localhost:8080/v1"
api_style = "openai"
backend = "generic"

[[models]]
name = "mistralai/Devstral-Small-2-24B-Instruct-2512"
provider = "local"
alias = "devstral-local"

Conservez active_model au-dessus du premier tableau [[...]], sinon TOML le rattache à ce tableau. Ne définissez pas api_key_env_var si votre serveur n'exige pas de clé API.

Vibe inclut également un préréglage de fournisseur nommé llamacpp qui pointe vers http://127.0.0.1:8080/v1 sans clé API. Pour l'utiliser, définissez provider = "llamacpp" dans votre préréglage [[models]] au lieu de définir votre propre fournisseur.

Pour basculer entre votre modèle local et les modèles hébergés pendant une session, exécutez /model.

• Validez la qualité des sorties sur des cas d’usage représentatifs avant de compter sur le modèle local pour des modifications.
• Si possible, hébergez votre serveur local sur un réseau privé.
• Vérifiez quelles données quittent la machine si vous mélangez outils locaux et distants (MCP, connecteurs).

Si vous avez choisi des modèles hors ligne pour des raisons de confidentialité, pensez aussi à désactiver la télémétrie et tout appel réseau en arrière-plan. Configurez dans ~/.vibe/config.toml :

enable_telemetry = false
enable_update_checks = false

enable_telemetry = false
enable_update_checks = false

Avec ces paramètres et un provider local comme ci-dessus, le CLI ne contacte ni mistral.ai ni aucun autre service externe. Les compétences, serveurs MCP, et connecteurs accédant à l’extérieur doivent être désactivés séparément. Vérifiez enabled_tools, disabled_tools, mcp_servers et votre liste de connecteurs.