Quel LLM sur RTX 5090 (32 Go) ?

#La RTX 5090 pour l'IA locale

Architecture: Blackwell (GB202), gravure TSMC 4NP. 92 milliards de transistors.
VRAM: 32 Go GDDR7 à 28 Gbps sur bus 512 bits. Bande passante 1792 Go/s (+78 % vs 4090).
Cœurs CUDA: 21 760. Tensor Cores 5ᵉ gen avec support FP4 natif. RT Cores 4ᵉ gen.
TDP: 575 W. Alim recommandée 1000 W. Connecteur 12V-2×6 (nouvelle norme).
Prix MSRP: 2329 € TTC au lancement (janvier 2025). Stocks fluctuants en 2026.

→

Ce qui change vraiment avec Blackwell pour le LLM

Trois choses : +33 % de VRAM vs 4090 (24 → 32 Go, ouvre les gros MoE 30-35B et Qwen 3.8 27B à contexte long, que 24 Go ne tiennent pas), bande passante mémoire +78 % (fait +40 % sur les gros modèles mémoire-bound), et support FP4 hardware qui permet des quantizations NVFP4 d'une qualité quasi-indiscernable du FP8 sur le papier.

#1. Modèles compatibles

Modèles LLM recommandés — tokens/sec, ordres de grandeur sur RTX 5090, llama.cpp / Ollama récent, batch 1

Modèle	Quant	VRAM	Tokens/sec	Verdict
gpt-oss 20B	Q4_K_M	13 Go	117-143	★★★★★ confortable
Devstral Small 2 24B	Q4_K_M	14 Go	36-44	★★★★★ confortable
Gemma 4 26B-A4B MoE	Q4_K_M	16 Go	54-66	★★★★★ confortable
Gemma 4 12B	Q5_K_M	9 Go	62-72	Multimodal, contexte long tenable
GLM 4.7 Flash	Q4_K_M	19 Go	90-110	★★★★★
Mistral Small 24B	Q6_K	20 Go	38-45	Sweet spot qualité/vitesse sur 5090
Qwen 3.6 27B	Q5_K_M	19 Go	29-35	★★★★★
Nemotron 3.5 Lightning 30B-A3B	Q5_K_M	29 Go	117-143	★★★★ serré
Qwen 3.8 27B	Q4_K_M	18 Go	32-40	Raisonnement 262k ctx (passez-le en low)
Granite 4.1 30B Instruct	Q5_K_M	21 Go	27-33	★★★★★

Les 32 Go changent quoi concrètement ?

Un gros MoE comme Nemotron 3.5 Lightning 30B pèse 25 Go en Q4 : il ne tient tout simplement pas sur une carte 24 Go, mais rentre à l'aise sur la 5090. Idem pour Qwen 3.6 35B-A3B (23 Go), ou Qwen 3.8 27B chargé avec son contexte complet de 262k tokens. C'est le scénario où la 5090 brille le plus.

#2. Installation Ollama + CUDA

La RTX 5090 nécessite les drivers NVIDIA 570+ et CUDA 12.8+. Les versions antérieures ne reconnaissent pas le GPU.

01
Installez les drivers NVIDIA 570+ (Windows)
Via GeForce Experience ou le site nvidia.com/drivers. Redémarrez.
02
Installez CUDA 12.8+ (optionnel pour Ollama, requis pour llama.cpp from source)
developer.nvidia.com/cuda-downloads. Ollama embarque sa propre version de CUDA.
03
Installez Ollama
Téléchargez depuis ollama.com/download, installer Windows ou script macOS/Linux. Ollama ≥ 0.5.x supporte Blackwell.
04
Vérifiez la détection GPU
Dans un terminal : ollama run qwen3.5:9b puis dans une autre fenêtre : ollama ps. La colonne PROCESSOR doit indiquer 100% GPU.

Vérification rapide

nvidia-smi
# Doit montrer : NVIDIA GeForce RTX 5090, 32768 MiB, driver >= 570.xx

ollama --version
# Doit etre >= 0.5.0

#3. Benchmarks tokens/sec

Ordres de grandeur relevés sur RTX 5090 FE, driver 572.16, Windows 11 24H2, Ryzen 9 9950X, 64 Go DDR5 6400. Prompt : génération de 500 tokens, moyenne sur 5 runs — valeurs indicatives, pas des mesures certifiées.

Comparatif quantizations — RTX 5090

Modèle	Q4_K_M	Q5_K_M	Q6_K	Q8_0	FP16
Granite 4.2 8B	138 t/s	125 t/s	115 t/s	95 t/s	72 t/s
Qwen 3.5 9B	122 t/s	110 t/s	100 t/s	82 t/s	62 t/s
Gemma 4 12B	72 t/s	65 t/s	58 t/s	48 t/s	—
Qwen 3.8 27B	38 t/s	35 t/s	31 t/s	24 t/s	—
Mistral Small 24B	48 t/s	44 t/s	40 t/s	32 t/s	—

→

Activez flash attention

Sur Blackwell, flash attention v3 est activé par défaut dans llama.cpp récent et apporte +10-15 % sur les contextes > 4k tokens. Vérifiez avec le flag -fa dans les logs.

#4. Optimisations Blackwell

NVFP4 (FP4 natif): Les Tensor Cores 5ᵉ gen décodent FP4 sans conversion. Gain typique : +40 % vs Q4_K_M sur modèles supportés (TensorRT-LLM 0.18+, vLLM 0.7+).
Flash Attention v3: Automatique dans llama.cpp master. +10-15 % sur contextes longs, -20 % de VRAM cache KV.
KV cache quantization: Avec -ctk q8_0 -ctv q8_0 : contexte 128k sur un 14B tient en moins de 20 Go. Perte qualité : négligeable.
Batch parallèle: Un serveur Ollama peut tenir 8-12 conversations concurrentes d'un 7B sans effondrer la latence. Idéal pour équipe.

Config Ollama pour serveur équipe

# Variable d'env avant demarrage
set OLLAMA_NUM_PARALLEL=8
set OLLAMA_MAX_LOADED_MODELS=3
set OLLAMA_KV_CACHE_TYPE=q8_0

ollama serve

#5. RTX 5090 vs 4090 vs 5080

Comparatif flagships — usage LLM

Critère	RTX 5090	RTX 4090	RTX 5080
VRAM	32 Go GDDR7	24 Go GDDR6X	16 Go GDDR7
Bande passante	1792 Go/s	1008 Go/s	960 Go/s
Granite 4.2 8B Q4	138 t/s	110 t/s	102 t/s
Qwen 3.6 35B-A3B Q4	80-100 t/s	60-75 t/s	—
Prix (2026)	~2500 €	~1800 € occasion	~1300 €
Verdict LLM	Gros MoE accessibles	Référence 30B	Excellent 14B

Faut-il remplacer sa 4090 par une 5090 ?

Pour du 8B-27B : non, le gain de vitesse (+25-40 %) ne justifie pas ~700 €. Pour les gros MoE 30-35B (Qwen 3.6 35B-A3B, ou Nemotron 3.5 Lightning qui ne tient pas sur 24 Go) ou du batch multi-utilisateurs : oui, les 32 Go font sauter un plafond matériel — c'est une autre classe d'usage.

#Limites et pièges

Consommation: 575 W TDP sous charge sustainable. Votre alim doit pouvoir fournir ~700 W en crête. Un 750 W de qualité suffit en pratique, 1000 W recommandé pour marge.
Connecteur 12V-2×6: Nouveau standard. Si votre alim ATX 3.0 est ancienne, vérifiez le câble — les cas de fonte existent sur mauvaise insertion. Adaptateur fourni dans la boîte.
Pilotes jeunes (2025): Certains bugs sous Linux sur kernel < 6.11 et drivers < 570.86. Mettre à jour systématiquement.
Disponibilité: Scalping et stock serré jusqu'à mi-2025. Achetez auprès de revendeurs officiels (LDLC, Materiel.net, TopAchat) pour éviter les faux.

#Questions fréquentes

Quels gros modèles la RTX 5090 fait-elle tourner que les cartes 24 Go ne tiennent pas ?+

Sa force, c'est la tranche 30-35B. Nemotron 3.5 Lightning 30B pèse 25 Go en Q4 : il ne rentre pas sur une 4090 24 Go, mais tourne à l'aise sur la 5090. Idem pour Qwen 3.6 35B-A3B (MoE, 23 Go) ou GLM 4.7 Flash. Et Qwen 3.8 27B se charge avec son contexte complet de 262k tokens — impensable sur 16-24 Go. C'est le premier GPU grand public qui rend cette classe de modèles vraiment confortable.

Combien de tokens/seconde pour un petit modèle 8B (Granite 4.2, Qwen 3.5) sur RTX 5090 ?+

Entre 130 et 145 tokens/seconde en Q4_K_M, 95 tok/s en Q8_0, 72 tok/s en FP16. Soit ~25 % de plus qu'une RTX 4090 à quantization équivalente.

RTX 5090 ou deux RTX 4090 pour LLM ?+

La 5090 seule. Deux 4090 offrent 48 Go de VRAM mais il faut gérer le split modèle et le SLI n'est plus supporté. llama.cpp sait répartir un modèle sur plusieurs GPU (tensor parallelism) mais la latence augmente. Pour un usage simple et rapide, une seule 5090 bat largement le dual 4090 en ergonomie.

Faut-il une alim 1000 W pour la RTX 5090 ?+

Recommandé par NVIDIA. En pratique, une alim 850 W ATX 3.0 / ATX 3.1 de qualité (Corsair RMx, Seasonic Focus GX, be quiet! Straight Power 12) tient une 5090 avec un CPU ≤ 200 W. Le connecteur 12V-2×6 est indispensable — vérifiez à l'achat.

La RTX 5090 supporte-t-elle FP4 ?+

Oui, nativement. C'est une nouveauté Blackwell : les Tensor Cores 5ᵉ gen exécutent du FP4 sans conversion. NVIDIA pousse le format NVFP4 via TensorRT-LLM. À date, Ollama et llama.cpp n'exploitent pas encore FP4 directement — il faut passer par vLLM ou TensorRT-LLM.

Peut-on faire du fine-tuning LoRA sur RTX 5090 ?+

Oui, très confortablement. Un LoRA sur Qwen 3.5 9B tient en 12 Go de VRAM, laisse de la marge pour un contexte de 8k. Pour Mistral Small 24B en QLoRA : ~22 Go. Pour un gros MoE 30-35B en QLoRA : 28-30 Go (juste, réduire batch size). unsloth et axolotl fonctionnent nativement.

Quelle différence de perf LLM entre RTX 5090 et H100 ?+

Sur du single-stream inference, la 5090 est proche d'une H100 PCIe (~80-90 %) grâce à sa bande passante 1792 Go/s vs 2039 Go/s pour la H100. Sur du batch multi-utilisateurs avec TensorRT-LLM, la H100 creuse l'écart (+50-100 %). Pour un usage individuel, la 5090 est un choix rationnel face à une carte pro 4× plus chère.

Ce guide vous a aidé ?

Un retour, une erreur, une précision ? Faites-nous signe, ça améliore le guide pour tout le monde.

Suite logique

Matériel · 11 min