Quel LLM pour 8 Go de VRAM ?

#Avec 8 Go de VRAM : des modèles de 4 à 9 milliards de paramètres

Avec 8 Go de VRAM, le bon choix est un modèle de 8 à 9 milliards de paramètres en Q4, comme Qwen 3.5 9B (6 Go de poids selon le catalogue QuelLLM) ou Granite 4.2 8B (4,6 Go), avec un contexte de quelques milliers de tokens. Un modèle de 12 milliards en Q4 (7 Go) entre à peine, sans marge pour le contexte. Un 14 milliards ou plus déborde. Ce qui décide n'est pas seulement le poids du modèle : il faut y ajouter le cache KV, qui grandit avec le contexte, et laisser de la place au système et à l'affichage.

Le calcul du budget est simple : poids du modèle, plus cache KV, plus environ un gigaoctet pour les tampons et l'affichage, doivent rester sous 8 Go. Avec un 9B en Q4 (6 Go), il reste donc environ 1 Go pour le contexte. Avec un 8B plus léger comme Granite 4.2 8B (4,6 Go), il en reste plus de 2. C'est pourquoi le choix du modèle et celui du contexte se décident ensemble.

Ces marges sont indicatives : la taille réelle du cache KV dépend de l'architecture du modèle et de la longueur de contexte, et vous la lirez le mieux en lançant le modèle puis en regardant ollama ps et l'outil de suivi de votre carte (nvidia-smi ou rocm-smi).

#Quelles cartes ont 8 Go, et lesquelles vous piègent

Beaucoup de gammes existent en plusieurs capacités, et le nom ne suffit pas. NVIDIA décrit la RTX 3060 avec 12 Go ou 8 Go, la RTX 4060 avec 8 Go, la RTX 4060 Ti avec 16 Go ou 8 Go, et la RTX 5060 Ti avec 16 Go ou 8 Go, la RTX 5060 étant en 8 Go. Côté AMD, la RX 9060 XT existe en 8 Go, avec 320 Go/s de bande passante comme la version 16 Go. Vérifiez donc toujours la capacité sur la fiche du modèle exact avant d'acheter ou de comparer.

NVIDIA 8 Go

RTX 4060, RTX 5060, versions 8 Go des RTX 3060, 4060 Ti et 5060 Ti, et les anciennes RTX 3070, 3060 Ti ou 2060 Super.

AMD 8 Go

RX 9060 XT 8 Go, RX 7600, RX 6600 XT, RX 5700 XT.

Attention : RX 7600 XT

Cette carte compte 16 Go, pas 8 : le tableau de performances llama.cpp la liste avec 16 Go de GDDR6. Une version antérieure de ce guide la classait à tort en 8 Go.

Sur Mac, la mémoire est unifiée et partagée avec le système : un MacBook Air de 8 Go ne réserve pas 8 Go à l'IA. Les guides dédiés au MacBook Air M1 et M2 détaillent ce qui reste utilisable ; sans carte graphique dédiée du tout, le guide sur les LLM sans GPU donne les modèles par quantité de RAM.

#Quelle vitesse attendre sur 8 Go

La génération de texte lit à chaque token la quasi-totalité des poids : la vitesse maximale est la bande passante mémoire divisée par la taille des poids. Sur une RX 9060 XT 8 Go (320 Go/s selon AMD), le plafond théorique est d'environ 53 tokens par seconde pour un Qwen 3.5 9B en Q4 (6 Go) et de 70 pour un Granite 4.2 8B en Q4 (4,6 Go). Une autre carte donnera un autre plafond ; les valeurs réelles sont toujours plus basses.

Nous ne publions pas de tokens par seconde par carte : ils dépendent du pilote, du logiciel et du contexte, et aucun banc d'essai public que nous puissions citer ne couvre ces modèles sur ces cartes. Le tableau communautaire de llama.cpp, qui mesure un Llama 2 7B en Q4_0, donne un repère pour une ancienne 8 Go : 67 tokens/s en génération sur une RX 5700 XT sous ROCm. Pour votre matériel, mesurez : ollama run avec l'option --verbose affiche la vitesse de génération.

ollama run <nom-du-modèle> --verbose

#Quels modèles choisir sur 8 Go selon l'usage

Le catalogue QuelLLM permet de repérer, pour chaque usage, un modèle qui laisse de la marge. Le plus grand contexte annoncé par un modèle ne veut pas dire que vous pourrez l'utiliser : sur 8 Go, c'est la mémoire libre après les poids qui limite la longueur réelle, pas le chiffre du catalogue.

Deux précisions utiles. Les modèles étiquetés vision consomment de la mémoire supplémentaire pour l'encodeur d'images, donc un modèle multimodal de 12 milliards en Q4 dépasse vite les 8 Go dès qu'une image est chargée. Et pour le code, un modèle spécialisé de 7 milliards en Q4 (5 Go) tient avec de la marge et répond plus vite qu'un généraliste plus gros, ce qui compte pour la complétion en ligne.

#Cinq réglages pour étirer 8 Go

Aucun de ces réglages ne remplace de la VRAM, mais ils décalent la limite de quelques centaines de mégaoctets à un gigaoctet, ce qui suffit à passer d'un contexte de 4 000 tokens à un contexte de 16 000.

Limiter le contexte

Ollama utilise par défaut, selon sa documentation, une fenêtre de 4 096 tokens ; OLLAMA_CONTEXT_LENGTH la modifie. N'ouvrez pas 32 000 tokens si vous discutez en messages courts.

Quantifier le cache KV

OLLAMA_KV_CACHE_TYPE=q8_0 divise à peu près par deux la mémoire du cache par rapport au f16 par défaut ; il exige Flash Attention.

Laisser Flash Attention agir

Ollama l'utilise automatiquement quand le backend et la carte le permettent ; vous pouvez le forcer avec OLLAMA_FLASH_ATTENTION=1.

Libérer la carte

Navigateurs, jeux et applications vidéo consomment de la VRAM. Fermez-les avant de charger un modèle ou branchez l'écran sur le processeur graphique intégré s'il existe.

Choisir Q4 ou Q5 selon la marge

Sur 8 Go, Q4_K_M est le bon défaut. Passez à Q5 seulement avec un modèle plus petit qui laisse plus d'un gigaoctet libre.

OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0 OLLAMA_CONTEXT_LENGTH=8192 ollama serve

#Ce que 8 Go ne permettent pas : RAG, code, gros modèles

Un pipeline de RAG complet réunit un modèle d'embeddings, éventuellement un reranker, et le LLM qui rédige la réponse. Sur 8 Go, cet ensemble ne tient pas confortablement : le modèle de génération à lui seul prend 5 à 6 Go. Deux solutions : lancer l'embedder sur le processeur, ce qui est tout à fait acceptable pour l'indexation, ou choisir un petit modèle de génération comme Qwen 3.5 4B en Q4 (2,3 Go). Pour la complétion de code en ligne, un modèle de 7 milliards suffit ; pour un agent de code qui lit de gros fichiers, le contexte requis dépasse ce que 8 Go permettent.

Pour les modèles de 14 à 32 milliards de paramètres, il faut changer de palier. La règle du site pose 14B ≈ 9 Go, 32B ≈ 19 à 20 Go, en Q4 et hors contexte : le 14B est donc la vraie frontière au-delà de 8 Go, d'où l'intérêt d'un palier de 12 Go, qui l'accueille avec de la marge. Ne comptez pas sur des astuces de déchargement extrême : un modèle qui tient à moitié en RAM peut fonctionner, mais avec des vitesses de lecture qui découragent l'usage interactif.

#Quand passer à 12 ou 16 Go

Le bon critère d'achat est le prix du gigaoctet de VRAM, pas le prix de la carte. Le suivi des prix du site le calcule pour chaque carte, mis à jour deux fois par semaine ; consultez-le avant de décider, car les écarts entre les neufs et les occasions changent souvent.

• Quel LLM pour 12 Go de VRAM
• Quel LLM pour 16 Go de VRAM
• Quantifier le cache KV pour gagner de la VRAM
• Choisir sa quantification (Q4, Q5, Q8, FP16)
• LLM en local sans GPU : modèles par RAM
• Prix des cartes graphiques pour l'IA locale

• Source : FAQ d'Ollama (contexte, cache KV, Flash Attention)
• Source : fiche NVIDIA de la famille RTX 5060
• Source : fiche AMD de la RX 9060 XT 8 Go
• Catalogue QuelLLM des modèles (tailles en VRAM)

#Questions fréquentes