Famille Command · 104B paramètres

Command R+ 104B (08-2024)

RAG/tool-use frontière open. 128k ctx, 23 langues. ⚠ Non-commercial (CC-BY-NC).

🇺🇸 Cohere·Licence CC-BY-NC 4.0·Contexte 125k tokens·Sortie Août 2024 (refresh)← Catalogue

01Ce qu'il sait faire

Points forts
  • Meilleur RAG/tool-use open à l'époque
  • 128k ctx
  • 23 langues
Limites à connaître
  • —⚠ Licence CC-BY-NC (non-commercial)
  • —104B : 60+ GB VRAM en Q4
Architecture
Dense · optimisé RAG et tool-use · GQA
Entraînement
23 langues, +50% throughput / -25% latency vs version Avril 2024.
Idéal pour
RAG avancéTool useAgents

02Mémoire requise

VRAM GPU approximative pour faire tourner ce modèle, overhead contexte de 4k tokens inclus. Pour un contexte plus long, ajoutez ~1 Go par tranche de 8k tokens.

Q4_K_M
Le plus léger, ~5% de perte
60 Go
Q5_K_M
Bon compromis qualité/taille
72 Go
Q8_0
Quasi-indistinguable de FP16
110 Go
FP16
Pleine précision — usage serveur
208 Go
Fallback CPU · Si vous n'avez pas de GPU, comptez 96 Go de RAM minimum pour faire tourner ce modèle à vitesse réduite.

Quel GPU pour faire tourner Command R+ 104B (08-2024) ?

Pour exécuter Command R+ 104B (08-2024) en local en quantification Q4, il faut environ 60 Go de VRAM. Le meilleur rapport prix/performance : un Mac Studio (64 Go de mémoire unifiée).

Où acheter le Mac Studio
DartyVoir Mac Studio →RakutenVoir Mac Studio →AmazonVoir Mac Studio →

Liens affiliés — commission possible sans surcoût pour vous, reco indépendante. En tant que Partenaire Amazon, QuelLLM réalise un bénéfice sur les achats remplissant les conditions requises.

03Vitesse attendue

Tokens générés par seconde en Q4_K_M, contexte 4k. Au-delà de 20 t/s, la lecture est confortable. En dessous de 10 t/s, c'est juste pour tester.

Entrée de gamme
~1t/s
GTX 1650, RX 6600, MBA M2 8Go
Milieu de gamme
~4t/s
RTX 4060, 4070, MBP M3 Pro
Haut de gamme
~15t/s
RTX 4090, M4 Max, Radeon 7900

04Installer

Le chemin le plus court : Ollama. Une commande, le modèle est téléchargé et lancé.

$ollama run command-r-plus:104b
⚠
Premier téléchargement : entre 2 et 40 Go selon la quantization choisie. Espace disque à prévoir, connexion stable recommandée. Les relances suivantes sont instantanées.