Quel LLM sur RTX 2060 / 2060 Super (6-8 Go) ?

#RTX 2060, 2060 Super, 2060 12 Go : trois cartes, trois usages

La RTX 2060 est sortie le 15 janvier 2019, la 2060 Super le 9 juillet 2019 et une variante de la 2060 dotée de 12 Go le 7 décembre 2021, d'après la table des GeForce série 20 de Wikipédia. Toutes reposent sur la puce Turing TU106. Pour un LLM, ce qui compte est la mémoire (capacité, bus, bande passante) plutôt que les cœurs CUDA.

La 2060 Super offre 448 Go/s de bande passante contre 336 Go/s pour la 2060 d'origine : à modèle égal, elle génère environ un tiers plus vite. La variante 12 Go est rare et arrive tard, mais elle est de loin la plus intéressante pour l'IA locale : c'est la seule des trois qui laisse un 14B en Q4 (environ 9 Go) tenir avec de la marge. Vérifiez donc la capacité exacte de la carte avant tout achat : le nom seul ne la donne pas.

#Ce que chaque variante fait tourner

La règle est la même que pour toute carte : les poids en Q4 (repère du site : 3B ≈ 2 Go, 7-8B ≈ 5 Go, 14B ≈ 9 Go) plus le cache de contexte et environ 0,5 Go réservés par le système et le moteur. Le tableau donne aussi le plafond théorique de génération, qui est la bande passante divisée par la taille des poids. Nous n'avons pas de mesure de débit sur ces cartes et n'en citons pas.

Ces plafonds ne sont jamais atteints en pratique ; ils servent à comparer les cartes entre elles et à savoir si un modèle sera interactif. Un modèle qui pèse le double génère environ moitié moins vite. Pour un usage de discussion, tout ce qui dépasse une dizaine de tokens par seconde en réel est confortable à la lecture.

#Turing en 2026 : toujours supporté

L'âge de la carte inquiète moins qu'on ne le croit. La documentation d'Ollama indique qu'il prend en charge les GPU NVIDIA de capacité de calcul 5.0 et plus avec un pilote 550 ou plus récent, et liste la RTX 2060 dans la famille de capacité 7.5. Les notes de version de CUDA 13 indiquent, de leur côté, que le support de Maxwell, Pascal et Volta a été retiré dans certaines bibliothèques : la génération Turing est la plus ancienne qui reste sur ce chemin. C'est un argument pour la 2060 face aux GTX 10 à long terme, même si Ollama prend encore en charge les capacités 5.0 à 6.2 avec un pilote 570 ou plus récent : le risque est que les prochaines fonctions ne visent que les architectures récentes.

Ce n'est pas la puissance de calcul qui limite la génération de texte sur cette carte, mais la bande passante mémoire : ne payez donc pas de prime pour les Tensor Cores seuls. Le pilote est la vraie condition : une installation à jour évite la plupart des échecs de détection du GPU.

#Le calcul mémoire pour votre carte

Le calcul se fait en trois lignes : mémoire de la carte, moins environ 0,5 Go réservés par le système et le moteur, moins le poids du modèle, égale la place restante pour le cache de contexte. Ce que le cache consomme par token dépend de l'architecture du modèle ; le calculateur du site le donne pour un modèle précis, et la quantification du cache q8_0 le divise par deux environ.

Ce tableau explique pourquoi la même famille de modèles est agréable sur la Super et pénible sur la 6 Go : avec moins d'un gigaoctet de marge, quelques milliers de tokens de contexte suffisent à faire déborder le modèle sur le processeur. Il montre aussi que le 14B sur 12 Go est réel mais serré : 2,2 Go pour le contexte, ce qui impose une fenêtre courte.

• Calculateur de mémoire pour un modèle et un contexte

#Astuces pour les versions 6 Go et 8 Go

Pour la carte de 6 Go, le guide « Quel LLM pour 6 Go de VRAM » détaille le budget mémoire complet ; en résumé, visez un modèle de 4B ou un 8B avec un contexte court. Sur la Super de 8 Go, le contexte devient le premier réglage à surveiller.

1. 01
   Installer un pilote récent

   Mettez à jour le pilote NVIDIA à la version 550 ou plus récente, comme l'exige Ollama, puis installez Ollama pour votre système.
2. 02
   Choisir la taille du modèle

   6 Go : un 4B, ou un 8B avec contexte court. 8 Go : un 8B en Q4 avec un contexte de 4 000 à 8 000 tokens. 12 Go : un 14B en Q4, contexte court.
3. 03
   Réduire le cache de contexte

   Activez Flash Attention et la quantification du cache en q8_0 : elle divise environ par deux la mémoire du cache par rapport à f16, selon la FAQ d'Ollama.
4. 04
   Vérifier avec ollama ps

   La colonne Processor doit afficher 100 % GPU. Une répartition entre CPU et GPU signale un débordement, donc une vitesse plus basse.
5. 05
   Fermer les applications gourmandes

   Un navigateur avec accélération matérielle ou un jeu occupent de la VRAM que le modèle ne pourra pas utiliser.

OLLAMA_FLASH_ATTENTION=1
OLLAMA_KV_CACHE_TYPE=q8_0
OLLAMA_CONTEXT_LENGTH=6144

La FAQ d'Ollama propose aussi une quantification q4_0 du cache, plus agressive, qui réduit encore la mémoire au prix d'une perte de qualité possible ; testez-la sur votre usage avant de la garder.

• Quel LLM pour 6 Go de VRAM
• Quel LLM pour 8 Go de VRAM
• Quantifier le cache KV

#Ce qu'on peut vraiment faire avec une 2060

Chat et rédaction

Un 4B ou un 8B répond correctement au quotidien ; c'est l'usage où la carte tient le mieux ses promesses.

RAG et documents

Un petit modèle de 4B et un modèle d'embedding tiennent en mémoire ; limitez le nombre d'extraits envoyés.

Code

Autocomplétion avec un petit modèle de code ; pas d'agent fiable à cette taille.

Ce qui dépasse la carte

Les gros contextes, la vision lourde, les modèles de 14B sur 6 ou 8 Go, et tout agent qui enchaîne des outils avec de longs prompts.

La 2060 est aussi une carte de 160 à 185 W : en charge continue, elle chauffe et fait du bruit comme n'importe quelle carte de sa catégorie. Le guide sur les thermiques explique comment plafonner la puissance pour un serveur qui tourne toute la journée.

• Optimiser les thermiques en inférence

#Verdict et quand passer à autre chose

Une RTX 2060 déjà installée n'est pas à remplacer si vos usages sont le chat, la synthèse de textes et un RAG léger. Si vous achetez, la mémoire prime sur tout : la variante 12 Go ou la 2060 Super 8 Go sont préférables à la 6 Go. Les prix bougent chaque semaine et ne figurent pas dans cette page ; le suivi du site relève le prix le plus bas de chaque carte.

Cette comparaison corrige une idée répandue : la RTX 3060 12 Go n'est pas plus rapide que la 2060 Super pour la génération de texte. Sa bande passante est de 360 Go/s d'après Wikipédia, contre 448 Go/s pour la 2060 Super. Elle gagne par sa capacité : 12 Go permettent de charger des modèles que la Super ne peut pas accueillir. Choisissez selon le modèle visé, pas selon un pourcentage de vitesse général.

Si vous achetez une carte d'occasion, contrôlez trois choses avant de la garder. Vérifiez dans nvidia-smi la mémoire totale annoncée : le nom de la carte ne suffit pas à distinguer les variantes 6, 8 et 12 Go. Lancez une génération continue d'une vingtaine de minutes et surveillez la température et la fréquence du cœur : une carte qui ralentit fortement a besoin d'un nettoyage ou d'une pâte neuve. Enfin, testez un modèle réel avec le contexte visé et vérifiez avec ollama ps qu'il reste entièrement sur la carte.

• Quel LLM sur RTX 3060 12 Go
• Quel LLM sur RTX 2070 / 2070 Super
• Quel LLM sur RTX 3050
• Suivi des prix des cartes graphiques pour l'IA locale
• Source : Wikipédia, GeForce série 20
• Source : Ollama, matériel pris en charge
• Source : FAQ officielle d'Ollama

#Questions fréquentes