Quel LLM sur RTX 2070 / 2070 Super (8 Go) ?

#RTX 2070 et 2070 Super : ce que 8 Go permettent

Sur une RTX 2070 ou une 2070 Super, les modèles de 7 à 9 milliards de paramètres en quantification Q4 tiennent entièrement en mémoire vidéo : c'est la zone de confort de ces cartes. Selon le catalogue QuelLLM, Granite 4.2 8B demande 4,6 Go de poids en Q4 et Qwen 3.5 9B environ 6 Go. Il reste alors de la place pour le contexte, à condition de rester raisonnable sur sa longueur. Un modèle de 12 milliards comme Gemma 4 12B (7 Go en Q4) laisse à peine un gigaoctet pour le cache et le système : il passe sur le papier, mais mal en pratique. Côté vitesse, la 2070 Super mesure 88 tokens par seconde sur le test de référence de llama.cpp, un modèle de 7 milliards en Q4_0, soit largement plus que la vitesse de lecture d'un humain. Le vrai plafond de ces cartes n'est donc pas la vitesse, c'est la capacité mémoire.

RTX 2070

Octobre 2018, 2 304 cœurs CUDA, 8 Go de GDDR6 sur bus de 256 bits, soit 448 Go/s (256 bits à 14 Gbit/s).

RTX 2070 Super

Juillet 2019, 2 560 cœurs CUDA, mêmes 8 Go et même bande passante de 448 Go/s, consommation de 215 W.

Ce qui les distingue pour un LLM

Presque rien : la bande passante et la capacité sont identiques. La Super a plus de cœurs, ce qui aide surtout la lecture de prompt, pas la génération.

Ce dernier point est contre-intuitif : pour générer du texte, le processeur graphique relit l'ensemble des poids du modèle à chaque token, si bien que la bande passante mémoire compte plus que le nombre de cœurs. Deux cartes à 448 Go/s produiront des débits proches en génération, même si l'une est nettement plus rapide en jeu.

#Quels modèles tiennent dans 8 Go

Les poids ne sont qu'une partie de la facture : il faut y ajouter le cache de contexte (KV cache), qui grossit avec la longueur de la conversation, puis une marge pour le pilote et l'affichage. Sur une carte de 8 Go, la règle pratique est de viser des poids de 6 Go au plus si vous voulez un contexte de plusieurs milliers de tokens. À titre de repère, l'outil de test de llama.cpp voit 7 838 MiB de mémoire libre sur une RTX 3060 Ti de 8 Go, soit un peu moins que les 8 192 MiB théoriques : quelques centaines de mégaoctets sont déjà pris avant même de charger un modèle.

Le Q8 d'un 8B (9 Go) ne passe pas : sur 8 Go, la quantification Q4 est la règle, et la Q5 reste possible pour les plus petits modèles. Pour comparer les niveaux de quantification, le guide sur le choix Q4, Q5, Q8 détaille la perte de qualité attendue. Pour un projet précis, le calculateur de VRAM du site vous donne l'empreinte exacte selon le modèle et le contexte.

• Choisir sa quantification (Q4, Q5, Q8, FP16)
• Calculateur de VRAM pour un modèle et un contexte donnés

#Vitesse : ce que mesure le test de référence

Le seul repère public exploitable est le tableau collaboratif du dépôt llama.cpp, où des utilisateurs publient le résultat de la même commande : llama-bench sur Llama 2 7B en Q4_0, un fichier de 3,56 GiB, avec tous les calques sur le GPU. Le tableau précise que les résultats varient selon le pilote, le système et le fabricant de la carte, même à puce identique. Ce ne sont pas des mesures du site : les chiffres ci-dessous viennent de ce tableau, et la colonne « lecture » est le débit de traitement du prompt (pp512) alors que « génération » est le débit de réponse (tg128).

Deux enseignements. D'abord, la 2070 Super génère plus vite qu'une RTX 3060 12 Go (88,1 contre 75,6 tokens par seconde, soit environ 17 % d'écart) : la vitesse n'est pas ce qui justifie de la remplacer. Ensuite, la RTX 2060 Super affiche la même bande passante de 448 Go/s que la 2070 Super pour un résultat de 60 tokens par seconde, soit 32 % de moins. Un plafond de bande passante n'est donc pas une prédiction : l'état des pilotes, les fréquences et la fiche de la carte comptent aussi. Traitez ces valeurs comme des ordres de grandeur.

#Du modèle de test à un modèle actuel : la règle de trois

Le modèle de test pèse 3,82 Go (3,56 GiB). Comme la génération est limitée par la lecture des poids, un modèle plus lourd est proportionnellement plus lent, toutes choses égales. Pour Granite 4.2 8B en Q4 (4,6 Go), on obtient au mieux 88 × 3,82 ÷ 4,6, soit environ 73 tokens par seconde ; pour Qwen 3.5 9B en Q4 (6 Go), environ 56 tokens par seconde. Ce sont des bornes hautes théoriques, pas des mesures : les architectures récentes (modèles hybrides, mélanges d'experts) et la longueur du contexte déplacent le résultat, dans un sens ou dans l'autre.

Cette règle a un usage pratique. Si un chiffre annoncé pour votre configuration est très inférieur à ces ordres de grandeur, par exemple moins de 15 tokens par seconde sur un 8B en Q4, c'est le signe qu'une partie du modèle est déchargée en RAM système : vérifiez l'occupation de la VRAM avant d'accuser la carte. Le guide de dépannage d'Ollama décrit la marche à suivre.

• Dépanner Ollama : GPU non détecté, lenteurs, erreurs mémoire

#Contexte et cache KV : là où 8 Go se jouent

Le débit baisse quand la conversation s'allonge, parce que le modèle relit aussi le cache à chaque token. Sur une carte de 8 Go, la baisse reste modérée, de l'ordre de quelques pour cent dans les mesures publiques disponibles pour des cartes voisines. La mémoire est le second effet : le cache K/V occupe de la VRAM proportionnellement au contexte. Deux réglages d'Ollama soulagent une carte de 8 Go. Flash Attention réduit la mémoire consommée quand le contexte grandit, et la documentation d'Ollama précise que le cache K/V peut être quantifié quand elle est activée. Le type q8_0 utilise environ la moitié de la mémoire du format f16 par défaut, avec une perte de précision très faible selon la documentation.

1. 01
   Activer Flash Attention

   Démarrez le serveur avec la variable OLLAMA_FLASH_ATTENTION=1. Ollama l'active déjà automatiquement quand la carte et le modèle le permettent ; la variable sert à la forcer.
2. 02
   Quantifier le cache K/V

   Ajoutez OLLAMA_KV_CACHE_TYPE=q8_0. Ne descendez en q4_0 qu'en dernier recours : la documentation signale une dégradation possible aux grands contextes.
3. 03
   Vérifier l'occupation

   Lancez un prompt long et regardez la mémoire de la carte avec nvidia-smi : si la VRAM sature, réduisez le contexte plutôt que de laisser Ollama déborder en RAM.

OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve

Sur la 2070 Super, le test llama.cpp avec Flash Attention donne 87,7 tokens par seconde en génération contre 88,1 sans : aucune vitesse à en attendre ici. En revanche, la lecture du prompt passe de 2 088 à 2 293 tokens par seconde, ce qui compte pour les documents longs et le RAG. Pour aller plus loin sur ce sujet, un guide entier est consacré à la quantification du cache.

• Quantifier le KV cache : gagner de la VRAM (long contexte)

#Turing en 2026 : pilotes, support et limites

Les cartes Turing restent prises en charge. La documentation d'Ollama demande une capacité de calcul de 5.0 au minimum et un pilote 550 ou plus récent ; les RTX 2070, 2080 et 2080 Ti figurent dans sa liste des cartes à capacité 7.5. Turing est même devenu un plancher : les notes de version de CUDA 13 indiquent que le support des architectures antérieures à Turing (Maxwell, Volta et Pascal) est abandonné. Rien ne permet de dater une fin de support pour Turing, et il serait hasardeux d'en annoncer une ; la prudence consiste à surveiller ces notes de version à chaque grosse mise à jour de CUDA.

Une limite pratique demeure : les modèles récents sortent souvent d'abord en formats pensés pour du matériel plus neuf, et la communauté propose ensuite des conversions GGUF en Q4 pour les cartes comme la vôtre. Cela ne bloque pas Ollama ou llama.cpp, mais peut retarder d'un jour ou deux l'arrivée d'un modèle dans un format lisible.

#2070 Super, 3060 12 Go ou 3060 Ti : quel arbitrage

À vitesse comparable, la capacité tranche. Passer d'une 2070 Super à une 3060 Ti ne change rien au plafond de 9B ; passer à une 3060 12 Go ouvre les modèles de 12 milliards et les contextes longs, au prix d'un débit un peu plus faible. Les prix d'occasion bougent chaque semaine : consultez le suivi du site avant de décider.

• Prix des cartes graphiques pour l'IA locale (suivi hebdomadaire)
• Quel LLM sur RTX 3060 12 Go ?
• Quel LLM pour 8 Go de VRAM ? (toutes cartes)

#Verdict 2026 : garder, acheter ou passer à autre chose

Gardez-la si

Vous utilisez un assistant de 7 à 9B en Q4, du code court, des résumés ou du RAG modéré. Le débit est très confortable et rien n'exige de changer.

Passez à autre chose si

Vous voulez un 12B avec un vrai contexte, un modèle de 14B ou plus, ou des documents très longs. Il faut alors 12 Go au minimum, et 16 Go pour être tranquille.

À l'achat en occasion

Une 2070 Super n'est intéressante que si son prix reste nettement sous celui d'une carte de 12 Go. Vérifiez la garantie et l'état du ventilateur, ces cartes ont plusieurs années de service.

#Questions fréquentes

• Source : tableau de performances llama.cpp sur CUDA
• Source : cartes NVIDIA prises en charge par Ollama
• Source : FAQ Ollama (Flash Attention, cache K/V)
• Source : caractéristiques des GeForce série 20