17 avril 2024Blog
v0.1-0.3
Mixtral 8x22B
Grand modèle MoE open source rivalisant avec des modèles denses plus volumineux.
Modalités
Contexte
64k
Date de retrait30/03/2025
RemplaçantMistral Small 3.2
Poids
| Weights | License | Parameters (B) | Active (B) | ≈ GPU RAM at bf16 - fp4 (GB) | Context Size (tokens) |
|---|---|---|---|---|---|
| 141 | 39 | 283 - 71 | 64k | ||
| 141 | 39 | 283 - 71 | 64k |
Other Models
