Quel LLM pour 32 Go de VRAM ?

32 Go de VRAM est le palier frontier 2026 : RTX 5090 — la seule carte grand public à atteindre cette VRAM. Vous tenez Llama 3.3 70B Q4 (42 Go) en offload léger 10 Go RAM à 22-28 tok/s, Qwen 32B Q8 confortable, Mistral Large 123B Q3 jouable. C'est l'IA locale sérieuse, sans compromis qualité majeurs.

Par Mohamed Meguedmi·Màj 2026-04-26·Testé sur Windows, macOS, Linux

#32 Go VRAM, le palier frontier

→

70B Q4 enfin confortable

Avec 32 Go + 32 Go RAM offload, Llama 3.3 70B Q4_K_M (42 Go total) tourne à 22-28 tok/s. C'est la première fois qu'un GPU grand public rend les 70B vraiment utilisables sans sacrifice qualité.

#1. GPU concernés

RTX 5090: Seule carte grand public 32 Go en 2026. ~2500 € neuve.
Apple M3 Ultra / M4 Ultra: Mémoire unifiée 64-512 Go. Mac Studio à partir de ~5000 €.
Multi-GPU: 2× RTX 5070 Ti 16 Go (32 Go total) ou 2× RX 7900 XT 20 Go (40 Go total) avec llama.cpp tensor parallelism.

#2. Modèles compatibles

32 Go VRAM (RTX 5090) — modèles LLM

Modèle	Quant	VRAM	Tokens/sec
Llama 3.3 70B	IQ3_M	30 Go	30-36 t/s
Llama 3.3 70B	Q4_K_M	42 Go	22-28 t/s offload
Qwen 2.5 72B	IQ3_M	31 Go	28-34 t/s
DeepSeek-V3 671B	IQ1	—	❌ trop gros
Mistral Large 123B	Q3_K_M	55 Go	10-14 t/s offload
Qwen 2.5 32B	Q8_0	34 Go	Tangent — préférez Q6

#3. Mistral Large 123B en offload

Mistral Large 2 (123B) en Q3_K_M (55 Go) avec offload 23 Go en RAM système (DDR5 6400 minimum) tourne à 10-14 tok/s sur RTX 5090. C'est le frontière 2026 accessible localement.

Lancer Mistral Large sur RTX 5090

# Avec Ollama
ollama pull mistral-large
export OLLAMA_KV_CACHE_TYPE=q8_0
ollama run mistral-large

# Avec llama.cpp custom
./llama-server -m mistral-large.Q3_K_M.gguf \
  -ngl 60 -c 8192 -fa --cache-type-k q8_0 --cache-type-v q8_0

#4. Fine-tuning haut niveau

QLoRA 70B: 28-30 Go requis. Tient confortablement sur 32 Go avec batch 1, contexte 4096.
LoRA classique 24B: 20-22 Go. Confortable, batch 4.
Full fine-tuning 7B-8B: Possible avec batch faible et FlashAttention.
QLoRA Mistral Large 123B: Hors de portée même 32 Go (besoin ~50 Go). Multi-GPU requis.

#Questions fréquentes

Quel est le meilleur LLM pour 32 Go de VRAM ?+

Llama 3.3 70B Q4_K_M ou IQ3_M selon priorité (qualité vs vitesse). Pour code : DeepSeek-Coder 33B Q8. Pour reasoning : DeepSeek-R1-Distill 70B Q4.

32 Go suffit pour Mistral Large 123B ?+

Oui en Q3_K_M (55 Go) avec offload 23 Go en RAM. ~10-14 tok/s. Pour Q4 confortable, il faut 64 Go+ (Mac Studio) ou multi-GPU.

RTX 5090 32 Go ou Mac Studio M4 Ultra 64 Go ?+

Selon usage. RTX 5090 : plus rapide en pure inférence (138 vs 50 tok/s sur Mistral 7B), CUDA mature, prix ~2500 €. Mac Studio Ultra 64 Go : plus de VRAM, fanless, MLX, prix ~5000 €. Pour pure perf LLM 70B-123B avec budget : 5090. Pour 200B+ : Mac.

Llama 70B Q4 sur RTX 5090 — vitesse réelle ?+

22-28 tokens/seconde avec offload 10 Go en RAM DDR5 6400. Très utilisable pour chat et RAG.

Multi-GPU 2× RTX 5070 Ti vs RTX 5090 ?+

Match intéressant. 2× 5070 Ti = 32 Go total mais split inefficace + latence. RTX 5090 seule = 32 Go unifiés, plus simple, +30 % perf en pratique. Préférez 5090 sauf si vous avez déjà une 5070 Ti.

Ce guide vous a aidé ?

Un retour, une erreur, une précision ? Faites-nous signe, ça améliore le guide pour tout le monde.

Suite logique

Matériel · 12 min