11 décembre 2023BlogRapport technique
v0.1
Mixtral 8x7B
Notre premier modèle MoE open source, SOTA, rivalise avec des modèles 2 à 3 fois plus grands.
Modalités
Contexte
32k
Date de retrait30/03/2025
RemplaçantMistral Small 3.2
Poids
| Weights | License | Parameters (B) | Active (B) | ≈ GPU RAM at bf16 - fp4 (GB) | Context Size (tokens) |
|---|---|---|---|---|---|
| 47 | 13 | 94 - 13 | 32k | ||
| 47 | 13 | 94 - 13 | 32k |
Other Models
