Déployer avec Cloudflare Workers AI

Cloudflare est une entreprise spécialisée dans la performance et la sécurité web qui fournit des services de réseau de distribution de contenu (CDN), de protection DDoS, de sécurité Internet et de serveur de noms de domaine distribué. Cloudflare a lancé Workers AI, qui permet aux développeurs d'exécuter des modèles LLM alimentés par des GPU serverless sur le réseau mondial de Cloudflare.

Pour en savoir plus sur les modèles Mistral sur Workers AI, vous pouvez consulter la page de documentation dédiée de Cloudflare.

Configuration

Pour configurer Workers AI sur Cloudflare, vous devez créer un compte sur le tableau de bord Cloudflare, obtenir votre identifiant de compte et générer un jeton avec les autorisations Workers AI. Vous pouvez ensuite envoyer une requête de complétion :

curl https://api.cloudflare.com/client/v4/accounts/{ACCOUNT_ID}/ai/run/@cf/mistral/mistral-7b-instruct-v0.1 \
  -X POST \
  -H "Authorization: Bearer {API_TOKEN}" \
  -d '{ "messages": [{ "role": "user", "content": "[INST] 2 + 2 ? [/INST]" }]}'

curl https://api.cloudflare.com/client/v4/accounts/{ACCOUNT_ID}/ai/run/@cf/mistral/mistral-7b-instruct-v0.1 \
  -X POST \
  -H "Authorization: Bearer {API_TOKEN}" \
  -d '{ "messages": [{ "role": "user", "content": "[INST] 2 + 2 ? [/INST]" }]}'

Voici la sortie que vous devriez recevoir :

{'result': {'response': '2 + 2 = 4.'}, 'success': True, 'errors': [], 'messages': []}

{'result': {'response': '2 + 2 = 4.'}, 'success': True, 'errors': [], 'messages': []}