Quel LLM pour 6 Go de VRAM ?

#Ce que 6 Go permettent : le calcul mémoire complet

La VRAM ne contient pas que les poids. Elle accueille aussi le cache de contexte, qui grandit avec la conversation, les tampons de calcul du moteur et, sous Windows, une partie de l'affichage et du navigateur. Sur une carte de 6 Go, on peut raisonner avec un budget d'environ 5 à 5,5 Go pour le modèle et son cache, le reste étant pris par le système. Le repère du site pour les poids en Q4 est 3B ≈ 2 Go, 7-8B ≈ 5 Go.

Les tailles viennent du catalogue QuelLLM et de la bibliothèque Ollama. La colonne « marge » est une estimation : elle suppose 5,5 Go utilisables, ce qui dépend de votre système et de vos applications. Un modèle de 8B est donc possible sur le papier, mais il vous laisse moins d'un gigaoctet pour le cache : c'est le réglage de contexte qui décide si l'expérience est fluide ou si les couches débordent sur le processeur.

#Trois cartes 6 Go, trois vitesses : la bande passante

La vitesse de génération est limitée par la bande passante mémoire, divisée par la taille des poids lus à chaque token. Deux cartes de 6 Go ne sont donc pas équivalentes. D'après la table de Wikipédia sur la génération GeForce 20, la RTX 2060 6 Go offre 336 Go/s sur un bus de 192 bits. La RTX 3050 6 Go, plus récente, n'a qu'un bus de 96 bits (NVIDIA) et 168 Go/s selon la même encyclopédie : la moitié.

Ces plafonds ne sont jamais atteints, et nous n'avons pas de mesure à citer pour ces cartes : le pourcentage réel dépend du moteur, du contexte et de la carte. Mais le rapport de 2 à 1 tient. Pour l'IA locale, une RTX 2060 d'occasion est ainsi plus rapide qu'une RTX 3050 6 Go neuve malgré son âge, et la nouvelle carte n'a pour elle que l'efficacité énergétique et les fonctions récentes. Pour les GTX 1660, la variante compte : vérifiez la référence exacte, car la mémoire et le bus varient selon le modèle.

• Quel LLM sur RTX 2060
• Quel LLM sur RTX 3050
• Quel LLM sur GTX 1650 / 1660
• Quel LLM sur GTX 1060

#Le bon modèle pour chaque usage sur 6 Go

Chat, questions, rédaction

Un modèle de 3 à 4B comme Qwen 3.5 4B ou Phi-4 Mini : réponses correctes et rapides, contexte confortable. Pour une qualité de français supérieure, essayez le 8B en Q4 avec un contexte réduit.

Code

Un petit modèle de code de 3 à 7B pour l'autocomplétion, un 4B généraliste pour expliquer. Ne vous attendez pas à un agent de code fiable à cette taille.

RAG et documents

Un modèle de 4B et un modèle d'embedding léger : tout tient en mémoire. Le contexte est le facteur limitant : envoyez des extraits courts.

Vision et audio

Les modèles multimodaux légers existent, mais l'encodeur d'image consomme de la mémoire en plus du modèle : testez avec un modèle de 2 à 4B.

Un piège fréquent : les MoE comme Qwen3-Coder 30B-A3B n'activent que 3 milliards de paramètres, ce qui laisse croire qu'ils tiendraient sur 6 Go. Ce n'est pas le cas : tous les experts doivent être en mémoire, et le fichier pèse 19 Go. Le seul moyen de les utiliser est de garder les experts sur le processeur, ce qui exige beaucoup de mémoire vive et coûte cher en vitesse. Le guide sur les MoE explique le principe.

#Le mode hybride GPU et processeur : utile, mais pas magique

Quand un modèle dépasse la carte, Ollama et llama.cpp peuvent placer une partie des couches sur le processeur. Cela permet de charger un 9B sur 6 Go, mais la vitesse chute par paliers : les couches restées en mémoire vive sont lues à la vitesse de la mémoire système, une fraction de celle de la carte. Pour les MoE, llama.cpp propose une option, --n-cpu-moe, qui garde sur le processeur les experts de certaines couches et laisse sur la carte ce qui pèse le plus souvent. Un utilisateur du dépôt llama.cpp rapporte environ 20 tokens par seconde avec gpt-oss-20b et tous les experts sur le processeur, sur une machine avec de la DDR4-3200 double canal, tout en libérant la majeure partie de la VRAM.

Ce témoignage montre que l'approche fonctionne, pas qu'elle convient à votre machine. Elle demande 32 Go de mémoire vive pour un modèle de cette taille, et son débit dépend de la bande passante de cette mémoire. Pour un usage courant sur 6 Go, un modèle de 4B entièrement sur la carte reste plus simple et plus rapide.

#Cinq réglages qui comptent sur 6 Go

1. 01
   Limiter le contexte

   La FAQ d'Ollama indique une fenêtre par défaut de 4 096 tokens, réglable. Sur 6 Go, montez-la par paliers (6 000, 8 000) et surveillez la mémoire : chaque palier ajoute du cache.
2. 02
   Quantifier le cache K/V

   Avec Flash Attention actif, OLLAMA_KV_CACHE_TYPE=q8_0 divise par deux environ la mémoire du cache par rapport à f16, selon la FAQ d'Ollama. C'est le premier levier pour gagner de la marge.
3. 03
   Fermer ce qui consomme de la VRAM

   Un navigateur avec accélération matérielle, un jeu, un logiciel de montage : chacun prend de la mémoire. Sur 6 Go, un seul usage GPU à la fois.
4. 04
   Vérifier avec ollama ps

   La colonne Processor indique où le modèle a été chargé : 100 % GPU est l'objectif. Toute répartition entre CPU et GPU signale un débordement et une vitesse plus basse.
5. 05
   Choisir la quantification

   Q4_K_M est le bon compromis ; sur un 4B, vous pouvez monter en Q5 ou Q6 pour gagner en qualité, puisque la marge existe. Le guide de quantification détaille les écarts.

OLLAMA_FLASH_ATTENTION=1
OLLAMA_KV_CACHE_TYPE=q8_0
OLLAMA_CONTEXT_LENGTH=6144

Ces variables se définissent dans l'environnement du service Ollama (systemd sous Linux, variables système sous Windows, launchctl sous macOS). Le guide de dépannage des erreurs GPU d'Ollama détaille ce qu'il faut regarder lorsqu'un modèle refuse de se charger sur la carte.

• Quantifier le cache KV
• Choisir sa quantification
• Dépanner les erreurs GPU d'Ollama
• Les modèles MoE expliqués

#Diagnostic : pourquoi la génération ralentit sur une carte 6 Go

Sur une carte de 6 Go, un ralentissement brutal a presque toujours la même origine : une partie du modèle ou du cache a quitté la carte. Le tableau suivant relie le symptôme observé à la cause probable et à la réponse à essayer en premier.

Un dernier point sur la qualité : plus un modèle est petit, plus il fait d'erreurs sur les tâches qui demandent des connaissances précises ou un raisonnement long. Sur 6 Go, il vaut mieux utiliser le modèle pour ce qu'il fait bien (reformuler, résumer un texte fourni, répondre à partir d'extraits que vous lui donnez, classer, extraire des champs) que pour répondre de mémoire à des questions factuelles. Fournir le texte source dans la conversation, plutôt que de compter sur ce que le modèle « sait », est la pratique qui donne les meilleurs résultats avec un petit modèle, et elle reste compatible avec un contexte court.

#Passer à 8 ou 12 Go : ce que chaque palier débloque

Le saut le plus rentable est le passage de 6 à 12 Go. À 12 Go, un 8-9B en Q4 (5 à 6 Go) tient avec un long contexte, et un 14B en Q4 (environ 9 Go) devient possible. À 8 Go, un 8B tient enfin avec de la marge, mais un 14B reste hors de portée. Ne cherchez pas un prix dans cette page : ils bougent chaque semaine, et le suivi du site relève le plus bas pour chaque carte.

• Suivi des prix des cartes graphiques pour l'IA locale
• Quel LLM pour 8 Go de VRAM
• Quel LLM pour 12 Go de VRAM
• Source : bibliothèque Ollama, Qwen3
• Source : FAQ officielle d'Ollama
• Source : discussion llama.cpp sur gpt-oss et --n-cpu-moe

#Questions fréquentes