Intermédiaire 12 minPar VRAM
Quel LLM pour 24 Go de VRAM ?
24 Go de VRAM est le palier sérieux pour LLM en 2026. RTX 3090, 3090 Ti, 4090, RX 7900 XTX : ces cartes ouvrent Llama 3.3 70B en offload léger, Qwen 32B Q5 confortable, fine-tuning LoRA 14B-24B, RAG multi-utilisateurs. C'est le minimum pour un usage pro intensif ou power user. Ce guide détaille ce que vous gagnez vs 16 Go.
#24 Go VRAM, le palier sérieux
→
Le palier 70B (en mode dégradé)
24 Go = première porte vers Llama 70B. En IQ2_XS (21 Go) tout en VRAM à 12-16 tok/s, qualité dégradée mais utilisable. En Q2_K (26 Go) avec offload 2 Go RAM : 5-8 tok/s, qualité correcte. Premier seuil 70B accessible.
#1. GPU concernés
- Budget (~750 €)
- RTX 3090 occasion. Meilleur rapport 24 Go/€.
- Standard (~1100-1800 €)
- RX 7900 XTX (1100 € neuf) ou RTX 4090 occasion.
- Premium (occasion)
- RTX 3090 Ti (~1000 €) — entre 3090 et 4090.
#2. Modèles compatibles
24 Go VRAM — modèles LLM
| Modèle | Quant | VRAM | Tokens/sec (RTX 4090) |
|---|---|---|---|
| Mistral 7B | Q8_0 | 7 Go | 75 t/s |
| Llama 3.1 8B | Q8_0 | 8,5 Go | 66 t/s |
| Phi-4 14B | Q8_0 | 15 Go | 42 t/s |
| Mistral Small 24B | Q6_K | 20 Go | 32 t/s |
| Qwen 2.5 32B | Q5_K_M | 23 Go | 26 t/s |
| DeepSeek-Coder 33B | Q4_K_M | 19 Go | 30 t/s |
| Llama 3.3 70B | Q2_K | 26 Go | 7-10 t/s (offload) |
| Llama 3.3 70B | IQ2_XS | 21 Go | 16-22 t/s (VRAM) |
#3. Faire tourner un 70B
- IQ2_XS (21 Go)
- Tout en VRAM, 16-22 tok/s, qualité ~85 % FP16. Recommandé pour usage chat.
- Q2_K (26 Go)
- Offload 2 Go RAM, 7-10 tok/s, qualité ~92 %. Meilleure qualité mais plus lent.
- Q4_K_M (42 Go)
- Offload massif 18 Go RAM, 3-5 tok/s. Inutilisable en pratique.
- IQ3_M (30 Go)
- Offload 6 Go, ~10-12 tok/s, qualité ~95 %. Sweet spot qualité/vitesse.
#4. Fine-tuning
- QLoRA 7B-14B
- Très confortable. Batch 8 + contexte 4096.
- QLoRA 24B
- Confortable. Batch 4 + contexte 2048.
- QLoRA 70B
- Tangent, 22-23 Go requis avec unsloth + batch 1 + contexte court.
- LoRA classique 14B
- Possible avec batch 2, contexte 2048.
#Questions fréquentes
Quel est le meilleur LLM pour 24 Go de VRAM ?+
Llama 3.3 70B IQ3_M ou Qwen 2.5 32B Q5_K_M selon usage. Pour reasoning rapide : Phi-4 14B Q8. Pour code multi-fichiers : DeepSeek-Coder 33B Q5.
24 Go permet vraiment Llama 70B ?+
Oui mais avec compromis. IQ2_XS tient en VRAM à 16-22 tok/s avec qualité ~85 %. Q2_K (26 Go, offload 2 Go) : meilleure qualité mais 8 tok/s. Pour 70B confortable et fluide, visez 32 Go (RTX 5090).
RTX 3090 ou RTX 4090 pour LLM en 24 Go ?+
4090 : +40 % vitesse, plus silencieuse, ~1000 € plus chère occasion. 3090 : meilleur rapport perf/€. Pour pur LLM, 3090 reste excellent. Si budget atteint 1800 €, 4090 mieux.
Combien de tokens/sec pour Llama 70B IQ2 sur RTX 3090 ?+
12-16 tok/s sur RTX 3090, 16-22 sur RTX 4090, 18-25 sur RX 7900 XTX. Tous utilisables pour chat, lents pour batch.
24 Go suffit pour fine-tuning sérieux ?+
Pour QLoRA 7B-24B : oui largement. Pour LoRA classique 70B ou full fine-tune : non, il faut multi-GPU.
Ce guide vous a aidé ?
Un retour, une erreur, une précision ? Faites-nous signe, ça améliore le guide pour tout le monde.