Quel LLM sur RTX 5090 (32 Go) ?

#RTX 5090 pour un LLM local : ce que permettent 32 Go

Pour un LLM local, une RTX 5090 vaut par ses 32 Go de GDDR7 et ses 1 792 Go/s de bande passante : elle garde entièrement en VRAM des modèles de 27 à 35 milliards de paramètres avec un long contexte, que les cartes de 24 Go ne laissent pas respirer. Selon la bibliothèque Ollama, Qwen 3.5 27B pèse 17 Go, Qwen 3.8 27B 18 Go, Qwen3 32B et Gemma 4 31B 20 Go, Qwen 3.5 35B et Nemotron 3 Nano 30B 24 Go. Hardware Corner mesure environ 59 à 61 tokens par seconde sur les modèles denses de 27 à 32 milliards avec 4 000 tokens de contexte, et plus de 160 sur un modèle à experts de 35 milliards. Un 70B (43 Go pour Llama 3.3 en Q4) ne tient toujours pas sur une seule carte.

Mémoire

32 Go de GDDR7 sur un bus de 512 bits, selon NVIDIA ; 1 792 Go/s de bande passante, selon Hardware Corner.

Calcul

21 760 cœurs CUDA et des Tensor Cores de 5e génération, selon NVIDIA. Capacité de calcul 12.0, prise en charge par Ollama avec un pilote 550 ou plus récent.

Consommation

575 W de puissance graphique et 1 000 W d'alimentation système requise, selon NVIDIA, avec un câble PCIe Gen 5 de 600 W ou un adaptateur fourni.

#Les modèles qui tiennent dans 32 Go

Les poids sont ceux des fichiers de la bibliothèque Ollama, consultés le 29 septembre 2026. La marge est ce qui reste sur 32 Go avant le contexte, le cache et les tampons du moteur.

Les 32 Go changent surtout la marge : un 27B dense conserve 14 à 15 Go pour le contexte, contre 6 à 7 Go sur une carte de 24 Go, et un modèle de 24 Go de poids reste chargeable avec 8 Go de marge. C'est ce qui rend possibles les contextes de 128k chiffrés plus bas.

• Quel LLM pour 32 Go de VRAM : la liste complète, toutes cartes confondues

#Débits mesurés : ce que la 5090 apporte face aux autres cartes

Les chiffres ci-dessous viennent de Hardware Corner, qui teste sur llama.cpp avec des contextes de 4k à 256k. Ce ne sont pas des mesures de QuelLLM.

La génération est bornée par la bande passante : le plafond théorique vaut environ la bande passante divisée par le poids du modèle. Pour Qwen 3.5 27B (17 Go), 1 792 ÷ 17 donne 105 tokens par seconde et la mesure, 58,8, en atteint 56 %. Pour Qwen3 32B (20 Go), le plafond est de 90 et la mesure de 61,4, soit 68 %. Un modèle dense de 27 à 32 milliards tourne donc autour de 60 tokens par seconde sur une 5090.

Sur Qwen 3.5 27B, la 5090 génère 1,76 fois plus vite que la 3090 (58,8 contre 33,5 selon deux pages de Hardware Corner), alors que la bande passante est 1,91 fois plus élevée (1 792 contre 936 Go/s). Sur le classement llama.cpp, la 5090 atteint environ 290 à 300 tokens par seconde sur Llama 2 7B Q4_0 contre environ 160 pour une 3090.

#5090 face à la 4090 et à la 3090 : l'écart mesuré

• RTX 5090 et LLM local : mémoire, modèles et benchmark détaillés

#Contexte et cache KV : dimensionner ses 32 Go

Ollama règle le contexte par défaut selon la mémoire vidéo : sa documentation indique 32k tokens entre 24 et 48 Gio de VRAM, et recommande au moins 64 000 tokens pour les agents, la recherche web et les outils de code. La 5090 tombe dans la tranche des 32k, plus généreuse que les 4k des cartes sous 24 Gio. Monter le contexte se paie en cache KV, qui stocke les clés et valeurs d'attention de chaque token lu.

Le levier principal est la quantification du cache : selon la FAQ d'Ollama, q8_0 utilise environ la moitié de la mémoire du f16, avec une perte de précision très faible, et suppose Flash Attention, qu'Ollama active automatiquement quand la carte et le modèle la gèrent. Règle de calcul : marge après le modèle moins 1 à 2 Go de tampons donne le budget de cache. Avec Qwen 3.5 27B (17 Go), il reste plus de 13 Go pour le contexte, ce que confirme la mesure à 128k de Hardware Corner. Contrôlez le résultat avec ollama ps.

• Quantifier le cache KV pour gagner de la VRAM en contexte long

#FP4, NVFP4, MXFP4 : ce que Blackwell change vraiment

Blackwell introduit le format NVFP4 : selon NVIDIA, un format à virgule flottante sur 4 bits, avec un facteur d'échelle par bloc de 16 valeurs contre 32 pour MXFP4, donc plus fin. Hardware Corner indique que la 5090 accélère NVFP4 matériellement. Q4_K_M, lui, est une quantification par blocs de llama.cpp : les deux ne s'opposent pas sur le papier, ce sont des formats de fichier différents, et un modèle n'existe dans l'un ou l'autre que si quelqu'un l'a converti.

En pratique, la ligne Qwen 3.5 35B en MXFP4 du tableau plus haut montre ce que donne un format 4 bits flottant sur cette carte : 165 tokens par seconde à 4k pour 24 Go de poids. La prise en charge de NVFP4 par les outils (llama.cpp, Ollama, vLLM) évolue vite : vérifiez la version installée et la fiche du modèle avant de choisir un fichier, et gardez Q4_K_M comme valeur sûre.

#Installer Ollama sur une RTX 5090

1. 01
   Vérifier le pilote

   Lancez nvidia-smi dans un terminal : le pilote doit être en version 550 ou plus (551.61 sous Windows) et la mémoire totale afficher environ 32 Go.
2. 02
   Installer Ollama

   Installez Ollama depuis son site officiel. L'API locale écoute sur http://localhost:11434.
3. 03
   Lancer un modèle

   Exécutez ollama run qwen3.5:27b : le téléchargement de 17 Go se fait une fois. Pour un modèle à experts plus gros, essayez ollama run qwen3.5:35b (24 Go).
4. 04
   Contrôler la répartition

   Dans un second terminal, exécutez ollama ps : la colonne Processeur doit afficher 100 % GPU.
5. 05
   Ajuster le contexte

   Fixez le contexte avec OLLAMA_CONTEXT_LENGTH puis relancez ollama ps. Si la marge manque, définissez OLLAMA_FLASH_ATTENTION à 1 et OLLAMA_KV_CACHE_TYPE à q8_0 au démarrage.

ollama run qwen3.5:27b
ollama run qwen3.5:35b
ollama ps

# Exemple de la documentation Ollama : contexte de 64 000 tokens
OLLAMA_CONTEXT_LENGTH=64000 ollama serve

• Installer Ollama sur Windows 11 : guide complet

#Alimentation, chaleur et fine-tuning

NVIDIA annonce 575 W de puissance graphique, une alimentation système de 1 000 W, une température GPU maximale de 90 °C et un câble PCIe Gen 5 de 600 W : la 5090 est la carte la plus exigeante du comparatif. Vérifiez le câble et sa fiche avant d'installer, et prévoyez un boîtier ventilé. Une limite de puissance abaisse la consommation pour peu de vitesse, puisque le LLM sollicite surtout la mémoire (voir le relevé de la 3090 limitée à 250 W dans son guide).

Pour le fine-tuning, Unsloth indique des minimums de VRAM en QLoRA 4 bits : 22 Go pour un modèle de 27 milliards, 26 Go pour 32 milliards, 30 Go pour 40 milliards et 41 Go pour 70 milliards. La 5090 permet donc de fine-tuner jusqu'à 40B en QLoRA, avec un lot de 1 et un contexte court, pas un 70B.

• Fine-tuning LLM en local : exemple pas à pas LoRA et QLoRA

#Verdict : 5090, 4090 ou 3090 selon l'usage

La 5090 remplace une 4090 d'abord quand la capacité manque : le gain de vitesse est d'environ 30 % selon Hardware Corner, alors que les 32 Go permettent de charger des modèles et des contextes hors de portée de 24 Go. Pour les prix du jour, consultez notre suivi, qui relève le prix le plus bas de chaque carte deux fois par semaine.

• Prix des cartes graphiques pour l'IA locale (mis à jour deux fois par semaine)

• Source : NVIDIA, spécifications de la RTX 5090
• Source : Hardware Corner, benchmarks LLM sur RTX 5090
• Source : NVIDIA, présentation du format NVFP4
• Source : documentation d'Ollama, longueur de contexte
• Source : Unsloth, VRAM requise pour le fine-tuning

#Questions fréquentes