Quel LLM pour 12 Go de VRAM ?

#12 Go de VRAM : le palier où les 14 milliards deviennent possibles

Avec 12 Go de VRAM, vous pouvez faire tourner les modèles de 12 à 14 milliards de paramètres en Q4 avec une vraie marge pour le contexte, ou un 9B en Q8. D'après le catalogue QuelLLM, un Gemma 4 12B en Q4 pèse 7 Go, un Qwen 3 14B en Q4 pèse 9 Go, un Qwen 3.5 9B en Q8 pèse 10 Go. Le palier de 12 Go est celui où l'on quitte les modèles de 8 à 9 milliards, plus limités en raisonnement et en qualité de rédaction, sans encore atteindre les 24 milliards, qui exigent 16 Go. Ce qui reste hors de portée : les modèles de 27 à 35 milliards de paramètres, entre 16 et 21 Go en Q4.

Comment lire ce tableau : ajoutez au poids le cache KV et environ un gigaoctet de marge. Un Qwen 3 14B en Q4 (9 Go) laisse ainsi environ 2 Go pour le contexte ; un Qwen 3.5 9B en Q8 (10 Go) n'en laisse qu'un, ce qui limite le contexte. Avant d'aller plus loin, une correction : une version antérieure de ce guide qualifiait de confortable le 9B en Q8 sur 12 Go ; le catalogue donne 10 Go de poids, donc la marge est étroite.

#Cartes de 12 Go : celles qui en ont vraiment

Beaucoup de familles de cartes ont des versions de capacité différente ; le nom seul ne suffit pas. NVIDIA décrit, pour sa famille RTX 4070, la 4070 Ti Super en 16 Go et les 4070 Ti, 4070 Super et 4070 en 12 Go. La RTX 5070 offre 12 Go de GDDR7 sur un bus de 192 bits, alors que la 5070 Ti en compte 16. La RTX 3060 existe en 12 Go et en 8 Go, la version 12 Go étant la plus intéressante pour l'IA locale. Côté AMD, le guide de la RX 7700 XT la classe dans ce palier.

Pour comparer, la capacité est le critère principal et la bande passante le second : à capacité égale, plus la mémoire est rapide, plus la génération est fluide. Les prix changent chaque semaine ; le suivi de prix du site donne le coût du gigaoctet de VRAM des cartes de 12 Go et de 16 Go, ce qui permet de savoir si le palier supérieur vaut son supplément.

#Quels modèles choisir sur 12 Go selon l'usage

Pour le code, les modèles spécialisés les plus capables du catalogue dépassent 12 Go : Devstral Small 2 24B pèse 14 Go en Q4 et Qwen3-Coder 30B-A3B 19 Go. Sur 12 Go, restez sur un généraliste de 12 à 14 milliards ou sur Qwen 2.5 Coder 14B, dont le catalogue donne 9 Go en Q4. Ces modèles se comparent aux 8 et 16 Go dans les guides voisins.

#Vitesse : le calcul à faire soi-même

Sur 12 Go comme ailleurs, la vitesse de génération est plafonnée par la bande passante mémoire de la carte divisée par la taille des poids lus à chaque token. Chaque fabricant publie ce chiffre sur la fiche de la carte, en Go/s. Il suffit de le diviser par le poids du modèle pour obtenir un plafond théorique, que la vitesse réelle n'atteint jamais complètement. Le tableau donne ce plafond pour 100 Go/s de bande passante ; multipliez par le chiffre de votre carte.

Ce plafond explique pourquoi une quantification plus fine ralentit : passer de Q4 à Q8 double presque les poids lus. Il explique aussi pourquoi deux cartes de même capacité peuvent différer : le bus mémoire compte. NVIDIA indique 192 bits pour la RTX 5070 de 12 Go et 256 bits pour la 5070 Ti de 16 Go. Nous ne publions pas de tokens par seconde par carte, faute de source comparable ; pour votre matériel, ollama run avec l'option --verbose affiche la vitesse réelle.

#Vérifier qu'un modèle tient avant de l'adopter

1. 01
   Lire le poids du catalogue

   Ouvrez la fiche du modèle dans le catalogue QuelLLM et relevez le poids de la quantification visée.
2. 02
   Ajouter la marge

   Ajoutez environ 1 Go pour le système et 1 à 3 Go pour le cache KV selon le contexte visé. Le total doit rester sous 12 Go.
3. 03
   Lancer et mesurer

   Chargez le modèle, posez une question, puis tapez ollama ps : la colonne PROCESSOR doit afficher 100 % GPU.
4. 04
   Ajuster si nécessaire

   Réduisez le contexte, quantifiez le cache KV, ou descendez d'un cran de quantification, dans cet ordre.

#RAG local sur 12 Go : comment répartir la mémoire

Un RAG local réunit trois composants : un modèle d'embeddings qui indexe vos documents, éventuellement un reranker qui reclasse les passages, et le LLM qui rédige. Les deux premiers sont bien plus petits que le LLM et peuvent, au choix, tourner sur le GPU ou sur le processeur. Le budget se calcule en additionnant les trois, puis en gardant de la marge pour le cache KV : le contexte du LLM grandit avec le nombre de passages que vous lui envoyez.

La deuxième stratégie est souvent la meilleure : l'indexation est un travail de fond qui n'a pas besoin de GPU, alors que la génération de réponses profite pleinement de la VRAM. Un embedder tourne en tâche de fond pendant l'indexation, puis se met en veille ; sur processeur, l'indexation d'un dossier de documents prend plus de temps, mais elle ne se fait qu'une fois. Nous ne donnons pas de tailles pour les embedders ici ; consultez les guides sur les embeddings et sur le RAG local pour les valeurs de chaque modèle.

#Ce que 12 Go ne permettent pas

Modèles de 24 milliards

Mistral Small 24B pèse 14 Go en Q4 d'après le catalogue : il déborde. Pour 24 milliards de paramètres, il faut 16 Go.

Modèles denses de 27 à 32 milliards

Qwen 3.8 27B et ses semblables pèsent 16 Go en Q4 ; visez 24 Go.

MoE de 30 à 35 milliards

Qwen 3.6 35B-A3B pèse 21 Go, GLM 4.7 Flash 19 Go et Qwen3-Coder 30B-A3B 19 Go : hors de portée sur 12 Go, même s'ils ne lisent que 3 milliards de paramètres actifs, car tout le modèle doit résider en mémoire.

Long contexte sur un 14B

Un Qwen 3 14B en Q4 laisse environ 2 Go : ne comptez pas sur des dizaines de milliers de tokens sans quantifier le cache KV.

Ollama permet de quantifier le cache KV pour gagner de la place : selon sa documentation, OLLAMA_KV_CACHE_TYPE=q8_0 utilise environ la moitié de la mémoire du f16 par défaut, à condition que Flash Attention soit active. Le guide sur le cache KV détaille ce réglage, et la fenêtre de contexte par défaut d'Ollama, 4 096 tokens, se modifie avec OLLAMA_CONTEXT_LENGTH.

OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0 OLLAMA_CONTEXT_LENGTH=16384 ollama serve
ollama ps

#12 Go ou 16 Go : le bon choix pour vous

• Quel LLM pour 16 Go de VRAM
• Quel LLM pour 8 Go de VRAM
• LLM sur RTX 3060 12 Go
• Quantifier le cache KV pour gagner de la VRAM
• RAG local : introduction
• Prix des cartes graphiques pour l'IA locale

• Source : FAQ d'Ollama (contexte, cache KV)
• Source : fiche NVIDIA de la famille RTX 4070
• Source : fiche NVIDIA de la famille RTX 5070
• Catalogue QuelLLM des modèles (tailles en VRAM)

#Questions fréquentes