Quel LLM sur RTX 2080 Ti (11 Go) ?

#RTX 2080 Ti en 2026 : la capacité qui compte

La RTX 2080 Ti fait tourner sans déborder un modèle de 12 milliards de paramètres en Q4, ce qu'aucune carte de 8 Go ne fait proprement. Selon le catalogue QuelLLM, Gemma 4 12B pèse 7 Go en Q4, Granite 4.2 8B 4,6 Go et Qwen 3.5 9B 6 Go ; en Q8, Granite 4.2 8B monte à 9 Go, ce qui tient aussi dans les 11 Go. La carte s'appuie sur une puce TU102, 4 352 cœurs CUDA et une mémoire de 11 Go de GDDR6 sur un bus de 352 bits, soit 616 Go/s. Sur le tableau public de llama.cpp, elle atteint 107,5 tokens par seconde en génération avec un modèle de 7 milliards en Q4_0. Ce mélange de vitesse et de capacité explique que la 2080 Ti reste pertinente alors que des cartes plus récentes à 8 Go la surpassent en jeu mais pas en IA.

Architecture

Turing, puce TU102, sortie en septembre 2018.

Mémoire

11 Go de GDDR6, bus de 352 bits, bande passante de 616 Go/s.

Cœurs

4 352 cœurs CUDA et des Tensor Cores de deuxième génération.

Alimentation

Consultez la fiche de votre modèle précis : les versions d'usine diffèrent selon le constructeur.

#Modèles compatibles avec 11 Go

La colonne Q5 montre l'intérêt d'une carte de 11 Go : sur un 8B ou un 9B, on peut choisir une quantification plus fidèle que la Q4 sans rien sacrifier. La Q5 d'un 12B (9 Go) laisse en revanche moins de 2 Go pour le cache, ce qui limite le contexte. Un modèle en Q4 avec un grand contexte est souvent plus utile qu'un Q5 avec une fenêtre étriquée : arbitrez selon votre usage, en résumé de documents longs ou en discussion courte.

Deux repères pratiques. Premièrement, le Q8 d'un 8B (9 Go) tient dans la carte et donne une qualité très proche de la pleine précision : c'est un usage que les cartes de 8 Go ne permettent pas. Deuxièmement, la marge de 3 à 4 Go sur un 12B en Q4 se consomme avec le contexte : au-delà de quelques milliers de tokens, quantifiez le cache K/V ou réduisez la fenêtre. Pour le choix du niveau de quantification, le guide dédié détaille les pertes de qualité.

• Choisir sa quantification (Q4, Q5, Q8, FP16)
• Quel LLM pour 12 Go de VRAM ?

#Installation et vérification

Turing est pris en charge par Ollama : la documentation liste les RTX 2080 Ti, 2080, 2070 et 2060 parmi les cartes à capacité de calcul 7.5 et demande un pilote 550 ou plus récent. La procédure est celle de toute carte NVIDIA, avec un dernier contrôle qui compte : vérifier que le modèle est entièrement dans la carte.

1. 01
   Mettre à jour le pilote

   Installez un pilote NVIDIA version 550 ou plus récent, puis contrôlez avec nvidia-smi que la carte est détectée avec ses 11 Go.
2. 02
   Installer Ollama

   Suivez le guide d'installation d'Ollama pour votre système, puis lancez un modèle avec ollama run.
3. 03
   Contrôler la répartition

   Tapez ollama ps : la colonne Processor doit afficher 100% GPU. Si un pourcentage de CPU apparaît, le modèle déborde en RAM : réduisez le contexte ou le modèle.
4. 04
   Régler le cache K/V si besoin

   Démarrez Ollama avec OLLAMA_FLASH_ATTENTION=1 et OLLAMA_KV_CACHE_TYPE=q8_0 pour gagner de la place sur les longs contextes.

• Comment installer Ollama
• Dépanner Ollama : GPU non détecté, lenteurs, erreurs mémoire

#Vitesse : ce que mesure llama.cpp

Le tableau collaboratif du dépôt llama.cpp donne, pour la RTX 2080 Ti, 107,5 tokens par seconde en génération et 2 891 en lecture de prompt sur Llama 2 7B en Q4_0, un fichier de 3,56 GiB. Avec Flash Attention, ces valeurs passent à 109,2 et 3 108. Un point retient l'attention : la bande passante de 616 Go/s permettrait en théorie environ 161 tokens par seconde sur ce fichier de 3,82 Go, or la mesure en atteint 67 %. Les cartes plus modestes s'en approchent davantage. Le débit réel dépend donc d'autres facteurs que la mémoire seule, comme les fréquences ou les pilotes, et le tableau rappelle lui-même que les résultats varient selon la carte et le système.

Pour estimer la vitesse d'un modèle actuel, on peut appliquer une règle de trois à la taille du fichier. Un modèle de 4,6 Go comme Granite 4.2 8B en Q4 donnerait au mieux 107,5 × 3,82 ÷ 4,6, soit environ 89 tokens par seconde. Pour un Gemma 4 12B de 7 Go, on tombe à environ 59 tokens par seconde. Ce sont des bornes hautes théoriques, pas des mesures ; les architectures récentes peuvent s'en écarter. Dans tous les cas, ces vitesses dépassent le rythme de lecture.

#Contexte long et documents : lecture du prompt et cache K/V

La vitesse de génération n'est qu'une moitié de l'expérience : dès que vous collez un document ou lancez une recherche dans vos fichiers, c'est la lecture du prompt qui fait attendre. Le tableau de llama.cpp la mesure séparément (pp512). À 2 891 tokens par seconde, la 2080 Ti lit un document de 10 000 tokens en un peu plus de trois secondes et demie, contre environ quatre secondes et demie pour la 3060 12 Go (2 138) et deux secondes pour la 3080 10 Go (5 014). Ce calcul est théorique, il suppose un débit constant, mais il donne l'ordre de grandeur : la 2080 Ti reste agréable pour du RAG.

La seconde contrainte est la mémoire. Le cache K/V grossit avec le contexte, et sur un 12B en Q4 qui laisse 3 à 4 Go de marge, un long document consomme vite cette réserve. La documentation d'Ollama précise que le cache K/V peut être quantifié quand Flash Attention est activée, et que le format q8_0 utilise environ la moitié de la mémoire du format f16 par défaut. Le réglage est global à l'instance Ollama : il s'applique à tous les modèles servis.

OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve

Procédez par essais mesurés : chargez le modèle, remplissez un contexte comparable à votre usage réel, puis contrôlez avec ollama ps que la carte reste à 100 %. Si le modèle déborde, la solution la moins coûteuse est presque toujours de réduire la fenêtre de contexte, avant de changer de modèle ou de carte. Le guide sur la fenêtre de contexte explique comment elle se règle.

• Comprendre la fenêtre de contexte
• Quantifier le KV cache : gagner de la VRAM (long contexte)

#2080 Ti, 3060 12 Go, 5060 Ti 16 Go : quel arbitrage

La 2080 Ti génère plus vite que la 3060 12 Go d'environ 42 %, et même plus vite que la RTX 5060 Ti de 16 Go, dont le bus de 128 bits est un frein. La mémoire, elle, place la 2080 Ti derrière les deux : 11 Go contre 12 puis 16 Go. Le choix se fait donc sur le modèle visé. Pour un 12B en Q4, la 2080 Ti suffit et reste la plus rapide des trois. Pour un modèle de 20 milliards ou plus, ou un contexte très long, il faut 16 Go et la carte de nouvelle génération devient le meilleur choix. Les prix bougent chaque semaine ; le suivi du site donne le prix du Go de VRAM.

Question 1 : quel modèle voulez-vous ?

Un 8 à 12B : gardez ou achetez la 2080 Ti. Un 20B ou plus : visez 16 Go.

Question 2 : quelle longueur de contexte ?

Quelques milliers de tokens : 11 Go suffisent. Des dizaines de milliers : la marge manquera.

Question 3 : quel budget électrique ?

Comparez la consommation indiquée sur la fiche de votre modèle de carte à celle des cartes récentes, qui sont plus économes à vitesse comparable.

• Prix des cartes graphiques pour l'IA locale (suivi hebdomadaire)
• Quel LLM sur RTX 3060 12 Go ?
• Quel LLM sur RTX 5060 Ti (8 / 16 Go) ?

#Support Turing : ce qui est sûr et ce qui ne l'est pas

Turing est aujourd'hui le socle minimal de CUDA 13 : les notes de version indiquent que le support des architectures antérieures (Maxwell, Volta, Pascal) a été abandonné dans ses bibliothèques. Cela signifie que la 2080 Ti est prise en charge, mais aussi qu'elle est l'une des plus anciennes cartes encore incluses. Aucune source consultée n'annonce de fin de support pour Turing ; en revanche, les nouveautés matérielles des générations récentes (formats de calcul plus économes, par exemple) n'y seront jamais disponibles. Pour llama.cpp et Ollama avec des modèles GGUF classiques, ce n'est pas un obstacle.

#Verdict 2026

Gardez-la si

Vous la possédez : 11 Go et 107 tokens par seconde sur un 7B en font une carte plus utile pour l'IA que bien des cartes récentes de 8 Go.

Achetez d'occasion si

Le prix est nettement inférieur à celui d'une carte de 12 à 16 Go, et que votre cible est un 8 ou 12B. Vérifiez l'état des ventilateurs et la garantie ; ces cartes ont plusieurs années d'usage.

Passez à 16 Go si

Vous visez un modèle de 20 milliards ou plus, ou un contexte de plusieurs dizaines de milliers de tokens.

#Questions fréquentes

• Source : tableau de performances llama.cpp sur CUDA
• Source : cartes NVIDIA prises en charge par Ollama
• Source : FAQ Ollama (ollama ps, cache K/V)
• Source : caractéristiques des GeForce série 20