Choisir sa quantification (Q4, Q5, Q8, FP16)

#C'est quoi, une quantization ?

Un modèle comme Mistral 7B contient 7 milliards de paramètres (des nombres). En version brute FP16 — 16 bits par paramètre — ça fait ~14 Go. Pour tenir sur un GPU grand public, on compresse chaque paramètre en moins de bits. C'est ça, la quantization.

Compresser sans tout casser, c'est un compromis : moins de bits = moins de mémoire et plus de vitesse, mais une perte de précision. La bonne nouvelle, c'est que les LLMs sont étonnamment tolérants : on peut descendre à 4 bits par poids en gardant 95 % de la qualité.

#Décoder les noms (Q4_K_M, Q5_K_S, Q8_0…)

Le format GGUF utilise une convention que personne n'explique jamais clairement :

Le chiffre (Q2 à Q8)

Nombre de bits par poids. Plus c'est haut, plus c'est gros et précis.

Le _0 ou _1

Vieille génération (legacy). Même précision partout dans le modèle. À éviter sauf cas particulier.

Le _K

K-quants, la nouvelle génération. Allouent plus de bits aux couches importantes du modèle.

Le suffixe S / M / L

Small / Medium / Large. Pour un même nombre de bits, M > S en qualité (mais aussi en taille).

Le IQ au lieu de Q

Quantization améliorée (importance-aware). Même qualité en moins de bits, un peu plus lente à décoder.

#Tableau de décision rapide

Pour un modèle 7B (comme Mistral ou Llama 3), voici ce que chaque quantization donne en pratique :

Q2_K — ~3 Go

À éviter. Qualité fortement dégradée, le modèle devient incohérent sur les tâches complexes. Usage : tester qu'un très petit GPU marche.

Q3_K_M — ~3,3 Go

Compromis extrême pour 4 Go de VRAM. Qualité acceptable mais des erreurs apparaissent. Usage : GTX 1650, GPU mobile.

Q4_K_M — ~4,4 Go

⭐ LE SWEET SPOT. 95 % de la qualité FP16. Universellement recommandé. Usage : 8 Go de VRAM et +.

Q5_K_M — ~5,1 Go

Sensiblement mieux pour le raisonnement, surtout en français. Usage : 10 Go de VRAM et +.

Q6_K — ~5,9 Go

Quasi indistinguable de FP16. Choix des perfectionnistes. Usage : 12 Go de VRAM et +.

Q8_0 — ~7,7 Go

Qualité maximale raisonnable. Usage : 16 Go de VRAM et +. Au-dessus, autant prendre FP16.

FP16 — ~14 Go

Poids bruts, pas de quantization. Usage : fine-tuning, RTX 4090 24 Go et plus.

#Tailles mémoire par modèle

Pour estimer la VRAM nécessaire pour un modèle donné en Q4_K_M (la référence) :

VRAM (Go) ≈ (paramètres en milliards) × 0.6

7B  → ~4.4 Go
13B → ~7.8 Go
34B → ~20 Go
70B → ~42 Go

Ajoutez 0,5 à 2 Go pour la fenêtre de contexte (plus le contexte est long, plus il mange). Ajoutez 0,5 Go pour le système.

#Impact réel sur la qualité

Ce qu'on observe en pratique, en dégradant depuis FP16 :

Q8 → Q6

Différence imperceptible, même sur du raisonnement complexe.

Q6 → Q4_K_M

Légère baisse détectable sur du code long, du raisonnement multi-étapes, ou des langues rares. Reste très utilisable.

Q4 → Q3

Le modèle commence à faire des erreurs évitables. Traductions maladroites, boucles occasionnelles.

Q3 → Q2

Effondrement. Hallucinations fréquentes, sorties parfois incohérentes.

#Choisir : 3 règles simples

1. 01
   Partez de votre VRAM

   C'est la contrainte dure. Ne téléchargez pas un modèle plus gros que ce que vous pouvez loger — sinon le CPU prend le relais et vous perdez 10x en vitesse.
2. 02
   Visez Q4_K_M par défaut

   Si vous avez la VRAM, passez à Q5_K_M ou Q6_K. Descendez à Q3_K_M seulement si vraiment nécessaire.
3. 03
   Privilégiez un 13B Q4 à un 7B Q8

   À mémoire équivalente, les modèles plus gros gagnent presque toujours. Sauf si votre usage est très spécifique (résumé, traduction, classification) — là, un petit modèle bien quantifié suffit.

#Les variantes exotiques (IQ, _XXS…)

Vous verrez parfois des noms comme IQ3_XXS, IQ2_M, Q4_K_S. Ce sont des quantizations plus récentes qui compressent mieux au prix d'un décodage un peu plus lent.

IQ4_XS

Similaire à Q4_K_M en qualité mais 10-15 % plus petit. Utile si vous êtes à la limite de votre VRAM.

IQ3_XXS

Fait tenir un 13B dans 6 Go. La qualité reste bluffante. Pour RTX 3060 et Apple Silicon 8 Go.

Q4_K_S (Small)

Même nombre de bits que Q4_K_M mais alloue moins aux couches critiques. Un peu moins bon, un peu plus petit.

#TL;DR

Moins de 8 Go de VRAM

Modèle 7B en Q4_K_M (ou IQ4_XS si ça ne passe pas).

8 à 12 Go de VRAM

7B en Q5_K_M ou Q6_K. Vous pouvez aussi viser un 13B en Q4_K_M.

12 à 24 Go de VRAM

13B en Q5_K_M, ou tentez un Mixtral/Qwen 32B en Q4.

24 Go et +

Le monde est à vous : 70B en Q4, ou 34B en Q6 pour du quasi FP16.

Règle d'or

Un modèle plus gros en quantization agressive > un petit modèle en haute précision.