Quel LLM pour 24 Go de VRAM ?

#24 Go de VRAM : le palier des modèles de 27 à 35 milliards

Avec 24 Go de VRAM, vous chargez entièrement en mémoire un modèle dense de 27 milliards de paramètres en Q4 (16 Go de poids selon le catalogue QuelLLM) avec 8 Go de marge pour le contexte, ou un modèle MoE de 30 à 35 milliards dont 3 milliards de paramètres sont actifs (19 à 21 Go), avec un contexte plus court. Un 70B dense en Q4 pèse environ 40 Go : il ne tient pas et demande deux cartes ou de la mémoire unifiée. Le palier de 24 Go est celui où l'on passe des modèles de 9 à 14 milliards aux modèles qui rivalisent avec les grands modèles d'hier.

Une correction par rapport à une version antérieure de ce guide : elle donnait tantôt 18 Go tantôt 16 Go pour Qwen 3.8 27B, et 23 Go pour Qwen 3.6 35B-A3B. Le catalogue indique 16 Go et 21 Go. Ces chiffres sont des poids en Q4 arrondis ; ajoutez toujours le cache KV et environ un gigaoctet de marge.

#Quelles cartes ont 24 Go, et quelle est la différence

Trois cartes grand public dominent ce palier. NVIDIA décrit la RTX 3090 avec 24 Go de GDDR6X, et la RTX 4090 avec 24 Go de GDDR6X. AMD indique 24 Go de GDDR6 et une bande passante allant jusqu'à 960 Go/s pour la RX 7900 XTX. La RTX 5090, avec 32 Go de GDDR7 sur un bus de 512 bits selon NVIDIA, appartient au palier supérieur. Ne confondez pas avec la RX 7900 XT, qui compte 20 Go : le tableau de performances de llama.cpp la liste avec 20 Go de GDDR6.

Le choix se joue sur trois critères : l'écosystème logiciel, l'âge de la carte (état, garantie) et le prix du jour, que nous ne figeons pas. Le suivi de prix du site donne le coût du gigaoctet de VRAM, mis à jour deux fois par semaine ; c'est le bon indicateur pour arbitrer entre une carte d'occasion de 24 Go et une carte neuve de 16 Go.

#Quel modèle choisir sur 24 Go selon l'usage

Le choix entre dense et MoE est le vrai arbitrage de ce palier. Un dense de 27 milliards lit tous ses poids à chaque token : il est plus lent qu'un MoE, mais il laisse plus de VRAM au contexte. Un MoE de 35 milliards ne lit que ses paramètres actifs, donc génère plus vite, mais son poids total occupe presque toute la carte. Le guide sur les MoE explique le mécanisme.

#Et le 70B ? Ce que 24 Go permettent vraiment

Un 70B dense en Q4 pèse environ 40 Go de poids selon le repère du site : il dépasse les 24 Go d'au moins 16 Go. Il faudrait décharger cette part en mémoire vive, et la génération se ferait alors à la vitesse de la RAM et du bus PCIe, pas à celle de la carte. Nous ne donnons pas de débit pour ce cas, faute de source vérifiable : retenez qu'il est trop lent pour un usage interactif confortable. Les MoE de 30 à 35 milliards sont, à qualité comparable, la réponse pratique à cette limite.

Une seule carte de 24 Go

MoE 30-35B en Q4, dense 27-31B en Q4 ou Q5, avec 3 à 8 Go pour le contexte.

Deux cartes de 24 Go (48 Go)

70B en Q4 (environ 40 Go) avec un peu de contexte, en répartissant les couches entre les cartes.

Une carte de 32 Go

La RTX 5090 : un 70B en Q4 ne tient toujours pas seul, mais les dense de 27 à 32 milliards se mettent à l'aise.

Dans llama.cpp, le mode de répartition par défaut coupe le modèle par couches entre les cartes, en pipeline, avec des proportions réglables par carte. Le gain porte sur la capacité, pas sur la vitesse par token, puisque les cartes travaillent l'une après l'autre.

#Vitesse : le plafond que fixe la bande passante

La génération lit à chaque token l'essentiel des poids d'un modèle dense : le plafond théorique est la bande passante divisée par la taille des poids. La fiche AMD donne 960 Go/s pour la RX 7900 XTX ; pour les cartes NVIDIA, lisez la bande passante sur la fiche du modèle exact. Le tableau donne le plafond par tranche de 100 Go/s pour les modèles denses ; les MoE lisent moins de poids par token et vont plus vite.

Ces valeurs sont des plafonds, jamais des mesures : la vitesse réelle est plus basse et varie avec le pilote, le logiciel et le contexte. Nous ne publions pas de tokens par seconde par carte, faute de banc d'essai public comparable sur ces modèles. Pour mesurer votre propre installation, lancez ollama run avec l'option --verbose.

#Le contexte : la vraie limite sur 24 Go

Sur 24 Go, le cache KV décide de la longueur de contexte utilisable. Un Qwen 3.8 27B en Q4 laisse 8 Go, un Qwen 3.6 35B-A3B seulement 3 Go. Ollama utilise par défaut un contexte de 4 096 tokens selon sa documentation, modifiable avec OLLAMA_CONTEXT_LENGTH. Pour gagner de la place, quantifiez le cache : OLLAMA_KV_CACHE_TYPE=q8_0 utilise environ la moitié de la mémoire du f16 par défaut, à condition que Flash Attention soit active.

OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0 OLLAMA_CONTEXT_LENGTH=32768 ollama serve
ollama ps

#Un calcul de marge en trois lignes

Pour savoir si un modèle et son contexte tiennent, additionnez trois termes : le poids du catalogue, le cache KV et environ un gigaoctet de marge. Prenons deux exemples avec les poids du catalogue. Un Qwen 3.8 27B en Q5 pèse 19 Go : il reste 24 moins 19 moins 1, soit 4 Go pour le cache KV. Un Qwen 3.6 35B-A3B en Q4 pèse 21 Go : il reste 24 moins 21 moins 1, soit 2 Go seulement, donc un contexte court, sauf si vous quantifiez le cache. Le même 27B en Q4 (16 Go) libère 7 Go, ce qui autorise un contexte bien plus long.

Ce calcul explique un choix courant : préférer la quantification Q4 à Q5 quand le contexte est la priorité, et Q5 à Q4 quand vous travaillez sur des textes courts et que la fidélité du modèle compte. Le guide sur le choix de quantification détaille les écarts de qualité, et le guide sur le cache KV le gain de place.

#Acheter une 24 Go d'occasion : les contrôles à faire

Les cartes de 24 Go les plus répandues datent de 2020 à 2022 : beaucoup circulent d'occasion, et certaines ont travaillé longtemps en continu. Avant d'acheter, demandez une capture d'un test de charge, vérifiez la température de la mémoire pendant ce test, et contrôlez le bruit des ventilateurs. Assurez-vous que la capacité annoncée est bien de 24 Go dans le pilote, que l'alimentation dont vous disposez supporte la consommation de la carte, et qu'il reste de la place dans le boîtier. Les prix de ces cartes changent d'une semaine à l'autre : le suivi de prix du site permet de comparer ce que coûte le gigaoctet de VRAM entre neuf et occasion.

#Fine-tuning sur 24 Go : ce qui passe, ce qui ne passe pas

La documentation d'Unsloth publie un tableau de VRAM minimale par taille de modèle et par méthode, en précisant que ce sont des minimums absolus. En QLoRA (4 bits), un 7B demande 5 Go, un 14B 8,5 Go, un 27B 22 Go. En LoRA 16 bits, un 8B demande 22 Go et un 14B 33 Go. Sur 24 Go, le QLoRA d'un modèle jusqu'à 14 milliards de paramètres est donc confortable, celui d'un 27B tient à peine sans marge, et le LoRA en 16 bits d'un 14B est impossible.

• Quel LLM pour 32 Go de VRAM
• Quel LLM pour 16 Go de VRAM
• LLM sur RTX 3090 / 3090 Ti (24 Go)
• LLM sur RX 7900 XTX (24 Go)
• MoE expliqué : pourquoi un 30B-A3B tourne comme un petit modèle
• Prix des cartes graphiques pour l'IA locale

• Source : exigences de VRAM d'Unsloth
• Source : FAQ d'Ollama (contexte, cache KV)
• Source : fiche NVIDIA de la RTX 4090
• Source : fiche AMD de la RX 7900 XTX

#Questions fréquentes