Méthodologie · mise à jour 2026
Recommandeur de quantification
Un guide qui associe votre budget VRAM exact à la quantification GGUF, GPTQ ou AWQ optimale — sans tâtonnement, sans mémoire gaspillée.
Formule de base : VRAM_Go = (Paramètres_Md × Bits / 8) × 1,2. Le multiplicateur 1,2 absorbe le cache KV et l'overhead d'activation à un contexte de 8K.
Quelle quantification pour ma machine ?
Indiquez votre mémoire : l'outil liste les modèles du catalogue qui tiennent, avec la meilleure quantification possible pour chacun.
Chargement du catalogue…
Le choix en 30 secondes
Repérez votre VRAM disponible ci-dessous, puis lisez le plus gros modèle et la quantification qui tiennent avec un contexte 8K. Tailles de fichiers GGUF courantes (réglages par défaut de llama.cpp/Ollama, cache KV en FP16) ; la dernière colonne indique ce qui reste pour passer à 16K de contexte.
| VRAM | GPU typique | Modèle + quant recommandés | Marge 16K |
|---|---|---|---|
| 6 Go | RTX 3060 Laptop (6 Go), RTX 4050 Laptop | Qwen 3 4B Q5_K_M, ou Qwen 3 8B Q3_K_M | Juste — repasser en Q4_K_S |
| 8 Go | RTX 3050 8 Go, RTX 4060, RTX 5060 | Qwen 3 8B Q4_K_M, Llama 3.1 8B Q4_K_M | OK en Q4_K_M |
| 12 Go | RTX 3060 12 Go, RTX 4070, RTX 5070 | Qwen 3 14B Q4_K_M, Qwen 2.5 Coder 14B Q4_K_M, Gemma 3 12B Q5_K_M | Juste pour un 14B |
| 16 Go | RTX 4060 Ti 16 Go, RTX 5060 Ti 16 Go, RTX 5070 Ti, RTX 5080 | Qwen 3 14B Q6_K, Mistral Small 3.2 24B Q4_K_M (serré) | Bonne pour un 14B |
| 24 Go | RTX 3090, RTX 4090, RX 7900 XTX | Qwen 3 32B Q4_K_M, Qwen3-Coder 30B-A3B Q4_K_M, Gemma 3 27B Q4_K_M | Juste pour un 32B dense ; 27B à l'aise |
| 32 Go | RTX 5090 | Qwen 3 32B Q6_K, Qwen 3 30B-A3B Q6_K | Juste pour le 32B en Q6_K |
| 48 Go | RTX 6000 Ada, 2× RTX 3090/4090 | Llama 3.3 70B Q4_K_M, Qwen 2.5 72B Q4_K_S | Contexte court (8K) seulement |
| 80 Go | H100 80 Go, A100 80 Go | gpt-oss 120B (MXFP4), Llama 3.3 70B Q8_0 (contexte court) | À l'aise pour gpt-oss 120B |
Le calcul derrière la recommandation
La quantification compresse chaque poids de FP16 (16 bits) jusqu'à 2-8 bits. Un modèle 7B en Q4_K_M utilise en moyenne ~4,85 bits/poids, soit 7 000 000 000 × 4,85 / 8 ≈ 4,2 Go. En ajoutant le cache KV (qui grandit avec le contexte), on atterrit vers 5,5 Go à 8K de contexte pour un modèle à attention groupée (Mistral 7B, Qwen, Llama 3). Pour un contexte long, le cache KV domine largement le multiplicateur ×1,2.
Référence bits par poids
| Quant | Bits/poids effectifs | VRAM (8B) | VRAM (32B) | VRAM (70B) |
|---|---|---|---|---|
| FP16 | 16,0 | 16,0 Go | 64,0 Go | 140,0 Go |
| Q8_0 | 8,5 | 8,5 Go | 34,0 Go | 74,4 Go |
| Q6_K | 6,6 | 6,6 Go | 26,4 Go | 57,8 Go |
| Q5_K_M | 5,7 | 5,7 Go | 22,8 Go | 49,9 Go |
| Q4_K_M | 4,83 | 4,83 Go | 19,3 Go | 42,3 Go |
| Q4_K_S | 4,58 | 4,58 Go | 18,3 Go | 40,1 Go |
| Q3_K_M | 3,9 | 3,9 Go | 15,6 Go | 34,1 Go |
| Q2_K | 3,35 | 3,35 Go | 13,4 Go | 29,3 Go |
Perte de qualité : ce que disent vraiment les chiffres
La mesure de référence reste la perplexité publiée avec les k-quants de llama.cpp (PR #1684, LLaMA 7B, FP16 = 5,9066). Plus l'écart est faible, plus le modèle quantifié se comporte comme l'original. La falaise entre Q4_K_M et Q3_K_M est nette, et le gain de Q5 à Q6 est minime.
| Quant | Perplexité (LLaMA 7B) | Écart vs FP16 | Verdict |
|---|---|---|---|
| Q8_0 | — | négligeable | Indiscernable |
| Q6_K | 5,9110 | +0,07 % | Quasi sans perte |
| Q5_K_M | 5,9208 | +0,24 % | Excellent |
| Q4_K_M | 5,9601 | +0,91 % | Point d'équilibre |
| Q4_K_S | 6,0215 | +1,95 % | Acceptable |
| Q3_K_M | 6,1503 | +4,13 % | Perceptible |
| Q2_K | 6,7764 | +14,7 % | Dernier recours |
Mesures de 2023 sur LLaMA 7B : les modèles récents, entraînés sur beaucoup plus de données, sont souvent un peu plus sensibles à la quantification. L'ordre de grandeur reste valable.
À mémoire égale, un modèle plus gros en Q4_K_M fait en général mieux qu'un modèle plus petit en Q8_0. Dans le doute, montez en paramètres, pas en bits.
GGUF, GPTQ ou AWQ : le bon format, pas seulement le bon nombre de bits
GGUF (llama.cpp / Ollama / LM Studio) : le défaut pour l'inférence mono-utilisateur, l'offload CPU et Apple Silicon. GPTQ : 4 bits, inférence GPU pur avec vLLM/TGI. AWQ : 4 bits, GPU pur — l'option la plus rapide en 2026 pour l'inférence par batch sur RTX 4090, RTX 5090, H100/H200.
| Cas d'usage | Meilleur format | Pourquoi |
|---|---|---|
| Mono-utilisateur, poste, style ChatGPT | GGUF Q4_K_M | Offload CPU, couches GPU partielles, tourne partout |
| Apple Silicon (M1-M5) | GGUF Q4_K_M ou MLX 4 bits | Kernels Metal, mémoire unifiée |
| API en batch, >4 utilisateurs simultanés | AWQ 4 bits sur vLLM | Meilleur débit à batch élevé |
| Ampere ancien (A100, RTX 3090) | GPTQ 4 bits ou AWQ | Les deux marchent ; benchmarker sur son usage |
Questions fréquentes
Q4_K_M est-il vraiment le point d’équilibre, ou juste populaire ?
Les deux. Dans les mesures de perplexité publiées avec les k-quants de llama.cpp (LLaMA 7B), Q4_K_M ne s'écarte que d'environ 0,9 % du FP16 pour à peu près 30 % de sa mémoire. Q5_K_M descend à 0,2 % d'écart pour environ 17 % de mémoire en plus — rarement rentable, sauf si la marge est libre.
Quelle VRAM pour un modèle 70B ?
En Q4_K_M, environ 42 Go pour les poids, plus 2 à 3 Go de cache KV à 8K pour Llama 3.3 70B (grâce à l'attention groupée). Cela tient sur une carte 48 Go (RTX 6000 Ada) ou deux cartes 24 Go (2×RTX 3090/4090), avec un contexte court. En Q2_K, les poids descendent à ~26 Go, mais la qualité chute nettement.
GGUF, GPTQ ou AWQ : lequel choisir ?
GGUF pour un usage mono-utilisateur sur poste ou Apple Silicon. AWQ pour du service API en batch sur GPU Ada, Hopper ou Blackwell. GPTQ reste un choix historique qui fonctionne encore sur Ampere mais rarement le plus rapide en 2026.
Quantifier le cache KV dégrade-t-il la qualité ?
Le cache KV en Q8_0 divise sa taille par deux pour une perte généralement jugée négligeable. En Q4_0, la perte devient mesurable : à réserver aux cas où c'est la seule façon de tenir un long contexte.
Les modèles MoE comme DeepSeek V3 sont-ils différents ?
Oui. Le stockage utilise le nombre total de paramètres, donc un MoE 671B a toujours besoin de centaines de Go même en Q4. La vitesse, elle, dépend des paramètres actifs (37B pour DeepSeek V3). Sous Q4, la perte de qualité augmente vite ; des quantifications dynamiques (celles d'Unsloth pour DeepSeek R1, par exemple) montrent toutefois qu'un très gros MoE peut rester utilisable à 2 bits.
Comment vérifier qu’une quantification tient vraiment en VRAM ?
Lancez nvidia-smi -l 1 pendant la génération de 500 tokens. Si l'usage VRAM grimpe puis se stabilise, c'est bon. S'il plafonne et que les tokens/s s'effondrent, vous débordez sur la RAM système — descendez d'un niveau de quantification ou réduisez le contexte.
Envie d'aller plus loin ? Le calculateur de VRAM chiffre le besoin exact pour votre modèle, et notre guide Q4 vs Q5 vs Q8 détaille les tests de qualité.