Quel LLM sur RTX 3090 / 3090 Ti (24 Go) ?

#RTX 3090 pour un LLM local : ce que permettent 24 Go

Pour un LLM local, une RTX 3090 vaut d'abord par ses 24 Go de GDDR6X et ses 936 Go/s de bande passante : elle garde entièrement en VRAM des modèles de 27 à 32 milliards de paramètres en Q4, que les cartes de 12 et 16 Go ne peuvent pas contenir. Selon la bibliothèque Ollama, Qwen 3.5 27B pèse 17 Go, Qwen 3.8 27B 18 Go, Qwen3 32B et Gemma 4 31B 20 Go. Hardware Corner mesure environ 33 à 35 tokens par seconde sur ces modèles denses avec 4 000 tokens de contexte, et plus de 100 sur des modèles à experts comme gpt-oss 20B. Un 70B en Q4 (43 Go pour Llama 3.3) reste hors de portée d'une seule carte. La 3090 Ti n'ajoute que 8 % de bande passante.

Mémoire

24 Go de GDDR6X sur un bus de 384 bits ; 936 Go/s pour la 3090 et 1 008 Go/s pour la 3090 Ti, d'après le tableau de Wikipedia.

Consommation

350 W de puissance graphique pour la 3090, 450 W pour la Ti ; alimentation système requise de 750 W pour la 3090 et de 850 W pour la Ti, selon NVIDIA.

Logiciel

Ollama liste la RTX 3090 parmi les cartes de capacité de calcul 8.6, prises en charge avec un pilote 550 ou plus récent.

#Les modèles qui tiennent dans 24 Go

Les poids ci-dessous sont ceux des fichiers de la bibliothèque Ollama, consultés le 29 septembre 2026. La marge est ce qui reste sur 24 Go avant le contexte, le cache et les tampons du moteur : gardez aussi de la place pour le système si la carte pilote votre écran.

Partez d'un modèle dense de 27 milliards : Qwen 3.5 27B laisse 7 Go pour le contexte. Au-dessus de 20 Go, la marge devient trop mince pour un contexte utile. Les modèles à experts (Qwen3-Coder 30B, Gemma 4 26B, gpt-oss 20B) vont beaucoup plus vite que les denses parce que chaque token n'active qu'une partie des poids.

• Quel LLM pour 24 Go de VRAM : la liste complète, toutes cartes confondues

#Contexte et cache KV : l'avantage des 24 Go

Ollama règle le contexte par défaut selon la mémoire vidéo : sa documentation indique 4k tokens sous 24 Gio de VRAM et 32k tokens entre 24 et 48 Gio. Une RTX 3090 se situe à la frontière : selon ce que la carte annonce au moteur, vous obtenez 32k ou 4k, et un agent lancé avec les réglages par défaut peut perdre son historique sans prévenir. Contrôlez la valeur réelle avec ollama ps, et fixez-la vous-même pour les agents, pour lesquels la documentation recommande au moins 64 000 tokens.

Le cache KV se paie en mémoire : chaque token de contexte stocke des clés et des valeurs d'attention. Le levier principal est la quantification du cache : selon la FAQ d'Ollama, q8_0 utilise environ la moitié de la mémoire du f16, avec une perte de précision très faible. Le contexte se paie aussi en vitesse : Hardware Corner passe de 70 à 52 puis 39 tokens par seconde sur Qwen3 14B entre 4k, 16k et 32k.

Deux comportements se distinguent. Les modèles classiques comme Qwen3 14B perdent près de la moitié de leur débit entre 4k et 32k. Qwen 3.5 27B, lui, ne perd que 7 % sur la même plage (33,5 à 31,0). La source n'en donne pas la raison, mais pour de longs documents ce comportement compte davantage que la taille du modèle. Ces chiffres sont ceux de Hardware Corner, pas des mesures de QuelLLM.

• Quantifier le cache KV pour gagner de la VRAM en contexte long

#Installer Ollama et vérifier que le modèle tient

La 3090 est une carte Ampere de capacité de calcul 8.6, prise en charge par Ollama avec un pilote NVIDIA 550 ou plus récent ; sous Windows, la documentation demande la version 551.61 ou plus. Flash Attention 2, qui réduit la mémoire du contexte, fonctionne sur Ampere selon son dépôt officiel ; la version 3 est réservée à Hopper (H100) et n'est pas disponible sur une 3090.

1. 01
   Vérifier le pilote

   Lancez nvidia-smi dans un terminal : la version du pilote doit être 550 ou plus (551.61 sous Windows) et la mémoire totale doit afficher environ 24 Go.
2. 02
   Installer Ollama

   Installez Ollama depuis son site officiel. L'API locale écoute sur http://localhost:11434.
3. 03
   Lancer un modèle de 27 milliards

   Exécutez ollama run qwen3.5:27b : le téléchargement de 17 Go se fait une fois. Pour un modèle plus rapide, essayez ollama run gpt-oss:20b (14 Go).
4. 04
   Contrôler la répartition mémoire

   Dans un second terminal, exécutez ollama ps : la colonne Processeur doit afficher 100 % GPU. Une répartition CPU/GPU signifie que le modèle ou son contexte déborde en mémoire vive.
5. 05
   Ajuster le contexte

   Fixez le contexte avec OLLAMA_CONTEXT_LENGTH, puis relancez ollama ps. S'il manque de la marge, définissez OLLAMA_FLASH_ATTENTION à 1 et OLLAMA_KV_CACHE_TYPE à q8_0 au démarrage du serveur.

ollama run qwen3.5:27b
ollama run gpt-oss:20b
ollama ps

# Exemple de la documentation Ollama : contexte de 64 000 tokens
OLLAMA_CONTEXT_LENGTH=64000 ollama serve

• Installer Ollama sur Windows 11 : guide complet

#Débits : ce que la bande passante permet vraiment

La génération est bornée par la bande passante : le GPU relit tous les poids actifs pour chaque token, donc le plafond théorique vaut environ la bande passante divisée par le poids du modèle. Avec 936 Go/s, Qwen3 14B (9,3 Go) plafonne à environ 100 tokens par seconde et Hardware Corner en mesure 70,0 à 4k, soit 70 %. Qwen 3.5 27B (17 Go) plafonne à 55 et mesure 33,5 : 61 %. Qwen3 32B (20 Go) plafonne à 47 et mesure 35,1 : 75 %. Un 27B ou un 32B dense tourne donc autour de 60 à 75 % de son plafond, soit 33 à 35 tokens par seconde, ce qui reste très confortable à la lecture.

Le classement communautaire de llama.cpp confirme la parenté des deux cartes. Sur Llama 2 7B Q4_0 (3,56 Gio), la 3090 génère 158,16 tokens par seconde sans Flash Attention et 161,89 avec, contre 171,19 et 172,26 pour la 3090 Ti : soit +8 % et +6 %, cohérent avec les 8 % de bande passante en plus. Les deux séries viennent de contributeurs différents, l'écart réel dépend donc de la machine.

#Refroidissement, limite de puissance et achat d'occasion

La 3090 consomme 350 W et la Ti 450 W, avec une température GPU maximale de 93 et 92 °C selon NVIDIA. Sous charge LLM soutenue, le bruit et la chaleur du boîtier comptent : prévoyez un boîtier bien ventilé et une alimentation qui respecte les 750 W (3090) ou 850 W (Ti) demandés par NVIDIA. Un LLM sollicite surtout la mémoire : la limite de puissance coûte peu de vitesse.

Le classement llama.cpp fournit un ordre de grandeur : un contributeur limite sa 3090 à 250 W et relève 137,72 tokens par seconde sur Llama 2 7B Q4_0, contre 158,16 dans la série stock. C'est environ 13 % de vitesse en moins pour 29 % de puissance en moins. Les deux relevés viennent de machines différentes : prenez-les comme une indication, puis mesurez chez vous.

sudo nvidia-smi -pl 250

L'option -pl de nvidia-smi fixe la puissance maximale en watts. Sous Windows, ouvrez le terminal en administrateur ; le réglage disparaît au redémarrage tant qu'il n'est pas automatisé. Sur une carte d'occasion, surveillez aussi la température de la mémoire avec un outil comme HWiNFO : si elle grimpe nettement plus haut que celle du cœur, un remplacement des pads thermiques est à envisager.

#Acheter une 3090 d'occasion : ce qu'il faut vérifier

La 3090 est une carte Ampere qu'on trouve surtout d'occasion. Pour les prix du jour, consultez notre suivi, qui relève le prix le plus bas de chaque carte deux fois par semaine, avec le prix du Go de VRAM.

Identité

Vérifiez avec nvidia-smi que la carte affiche 24 Go et le bon modèle (3090 ou 3090 Ti), pas une autre référence.

Stabilité

Lancez un modèle de 27 milliards en boucle une trentaine de minutes : plantage, artefacts ou bridage thermique sont des signaux d'alerte.

Température mémoire

Comparez celle de la mémoire à celle du cœur : un écart important indique des pads fatigués.

Garantie

Exigez un retour ou une garantie vendeur : un remplacement de pads ou de pâte est un coût à prévoir.

Alimentation

350 W ou 450 W de pointe : contrôlez l'alimentation et les connecteurs d'alimentation de la carte avant l'achat.

• Prix des cartes graphiques pour l'IA locale (mis à jour deux fois par semaine)

#3090, 4090, 5090 : que gagne-t-on en payant plus ?

La RTX 4090 offre elle aussi 24 Go, avec plus de calcul : son avantage porte sur la lecture du prompt plus que sur la génération, qui reste bornée par la bande passante. La RTX 5090 passe à 32 Go, la catégorie où un 32B dense garde de la marge pour un long contexte. Les guides de ces deux cartes détaillent chaque cas.

#vLLM, deux cartes et fine-tuning sur 3090

Trois usages reviennent souvent avec la 3090. vLLM fonctionne : il demande une capacité de calcul 7.5 ou plus selon sa documentation, la 3090 étant en 8.6. Pour choisir entre llama.cpp et vLLM, voyez le comparatif des moteurs. Deux 3090 se combinent avec un pont NVLink pour les cartes de la série 30 : le guide multi-GPU détaille le partage des couches.

Pour le fine-tuning, Unsloth indique des minimums de VRAM en QLoRA 4 bits : 6 Go pour un modèle de 8 milliards de paramètres, 8,5 Go pour 14 milliards, 22 Go pour 27 milliards et 26 Go pour 32 milliards. La 3090 permet donc de fine-tuner jusqu'à 27B en QLoRA, tout juste, avec un lot de 1 et un contexte court, mais pas un 32B. En LoRA 16 bits, 9 milliards demandent déjà 24 Go, soit la totalité de la carte.

• llama.cpp, vLLM, Exllama : quel moteur choisir
• LLM multi-GPU avec llama.cpp : tensor-split sur 2 RTX 3090

#Verdict : dans quels cas la 3090 reste le bon choix

La 3090 reste le point d'entrée le plus courant pour un 27B en local : c'est la conclusion de Hardware Corner, qui la juge le meilleur point d'entrée d'occasion pour un usage sérieux. La 4090 la remplace si le budget suit, la 5090 si vous voulez 32 Go.

• Source : NVIDIA, spécifications RTX 3090 et 3090 Ti
• Source : Hardware Corner, benchmarks LLM sur RTX 3090
• Source : classement communautaire llama.cpp sur CUDA
• Source : documentation d'Ollama, longueur de contexte
• Source : Unsloth, VRAM requise pour le fine-tuning

#Questions fréquentes