Quel LLM sur RTX 4080 / 4080 Super (16 Go) ?

#RTX 4080 pour un LLM local : ce que 16 Go et 716 Go/s permettent

Une RTX 4080 ou 4080 Super charge en VRAM tout modèle de 4B à 24B en Q4 : Gemma 4 12B (7,7 à 8 Go), gpt-oss 20B (14 Go) et Mistral Small 24B (14 Go) tiennent, ce dernier avec environ 2 Go de marge pour le contexte. Le relevé tiers cité plus bas mesure 106 tokens/s en génération sur un modèle de 8B en Q4 avec une RTX 4080, ce qui place la carte dans la zone rapide pour un usage interactif. La limite est la capacité : Qwen 3.5 27B pèse 17 Go d'après Ollama et ne tient pas. Pour des modèles de cette taille, il faut 24 Go de VRAM. La 4080 est donc une carte de vitesse pour les modèles moyens, pas une carte de capacité.

Architecture

Ada Lovelace, puce AD103.

Mémoire

16 Go de GDDR6X sur un bus de 256 bits : 716,8 Go/s (4080) et 736 Go/s (4080 Super) d'après Wikipedia.

Cœurs CUDA

9 728 (4080) et 10 240 (4080 Super) d'après NVIDIA.

Puissance

320 W de puissance graphique totale sur les deux variantes ; NVIDIA indique 750 W d'alimentation minimale pour le PC.

Prix de lancement

1 199 dollars en novembre 2022 pour la 4080, puis 999 dollars pour la 4080 Super en janvier 2024.

#4080 ou 4080 Super : l'écart réel pour le LLM

La Super ajoute 5 % de cœurs CUDA (10 240 contre 9 728) et 2,7 % de bande passante (736 contre 716,8 Go/s). En génération de texte, seule la bande passante compte vraiment : le gain théorique est donc inférieur à 3 %, invisible à l'usage. Les deux cartes ont la même capacité de 16 Go, la même consommation de 320 W, donc les mêmes modèles chargés. Une 4080 Super ne vaut un surcoût que si elle est vendue au même prix ou presque. Les prix d'occasion bougent chaque semaine : consultez le suivi plutôt qu'un chiffre figé.

#Quels modèles tiennent dans 16 Go

Ollama utilise par défaut un contexte de 4 096 tokens. Avec 2 Go de marge, un modèle de 14 Go supporte un contexte plus long à condition de quantifier le cache K/V : Ollama propose le format q8_0, qui utilise environ la moitié de la mémoire du f16, avec Flash Attention. Ces deux réglages sont la clé pour utiliser gpt-oss 20B ou Mistral Small 24B avec un contexte de 16 000 tokens.

export OLLAMA_FLASH_ATTENTION=1
export OLLAMA_KV_CACHE_TYPE=q8_0
export OLLAMA_CONTEXT_LENGTH=16384
ollama serve

#La seule mesure publiée : ce qu'elle dit de la 4080

Un dépôt GitHub public compare des GPU avec llama.cpp sur LLaMA 3 (instantané de mai 2024, système Ubuntu, RunPod). Pour la RTX 4080 16 Go, il relève 106,22 tokens/s en génération sur 1 024 tokens avec un 8B en Q4_K_M, et 40,29 tokens/s avec le même modèle en F16, soit 14,96 Go, presque toute la carte. Ce sont des mesures d'un tiers, sur un modèle plus ancien que ceux du site, avec une version antérieure de llama.cpp : à lire comme un ordre de grandeur, pas comme une promesse.

Deux enseignements. D'abord, la génération ralentit avec le contexte : passer de 512 à 8 192 tokens de contexte fait perdre environ 13 % dans cette mesure, parce que le cache K/V s'ajoute aux poids lus à chaque token. Ensuite, on peut calculer le rapport entre mesure et plafond théorique : 716,8 Go/s divisés par les 4,58 Go du 8B en Q4 donnent 156 tokens/s, la mesure en atteint 68 %. En F16, le plafond est de 48 tokens/s et la mesure en atteint 84 %. Le rapport varie donc de 68 à 84 % selon le format.

Ces estimations valent pour un contexte court. Le modèle gpt-oss 20B ne lit que ses experts actifs à chaque token : il dépasse un modèle dense de 14 Go, sans qu'une valeur mesurée fiable soit reprise ici.

#Lire l'invite est bien plus rapide que générer

Le même relevé mesure aussi le traitement de l'invite, c'est-à-dire la lecture de votre question et de vos documents avant la première réponse : 5 065 tokens/s pour 1 024 tokens et 2 882 tokens/s pour 8 192 tokens. Un document d'environ 8 000 tokens, une quinzaine de pages, est donc lu en trois secondes environ avant que la génération démarre. Cette étape est limitée par le calcul et non par la bande passante, et c'est là que les cœurs supplémentaires de la 4080 se voient, par rapport à une carte à 288 Go/s comme la 4060 Ti.

#Usages qui profitent d'une 4080 : agents, RAG, code

Une carte de cette vitesse convient aux usages qui enchaînent de nombreuses générations : agents, boucles de correction de code, traitement en lot de documents. À 100 tokens/s en 8B, un agent qui produit 500 tokens par étape répond en quelques secondes. Les 16 Go limitent en revanche la taille du contexte et le nombre de modèles chargés : gardez un seul modèle de 12B à 14 Go, plus un petit modèle d'embeddings pour un RAG. Un modèle de raisonnement comme gpt-oss 20B produit de longues réflexions avant sa réponse, ce qui consomme du contexte.

#Le modèle ralentit : vérifier qu'il tient bien en VRAM

Sur 16 Go, un modèle de 14 Go laisse peu de marge, et un contexte qui grandit peut le faire déborder en cours de conversation. Le symptôme est une génération qui devient brusquement plus lente : une partie du modèle est passée en RAM système. Cette vérification prend une minute et évite de conclure à tort que la carte est lente, alors que c'est le réglage du contexte qui est en cause.

1. 01
   Observer le placement

   Lancez ollama ps dans un second terminal : la colonne PROCESSOR doit afficher 100 % GPU. Une répartition CPU/GPU signale un débordement.
2. 02
   Réduire le contexte

   Abaissez OLLAMA_CONTEXT_LENGTH à 8192, ou à sa valeur par défaut de 4096, puis relancez le serveur.
3. 03
   Quantifier le cache

   Activez Flash Attention et OLLAMA_KV_CACHE_TYPE=q8_0 : le cache K/V utilise environ la moitié de la mémoire du f16.
4. 04
   Libérer la VRAM

   Fermez les applications qui occupent la carte, jeux, navigateurs avec accélération matérielle, et contrôlez avec nvidia-smi.
5. 05
   Changer de modèle

   Si rien ne suffit, passez à un modèle plus léger, par exemple Gemma 4 12B au lieu de Mistral Small 24B.

• Dépanner Ollama : GPU non détecté, lenteurs, erreurs mémoire

#4080 face à la 4070 Ti Super, à la 5070 Ti et à la 5080

Toutes ces cartes chargent les mêmes modèles, puisque la capacité est identique. Seul le débit change, proportionnellement à la bande passante. La 4080 ne se distingue de la 4070 Ti Super que de 6 % : si l'écart de prix est important, la Ti Super est un meilleur achat. Face aux cartes de la génération 50, la 4080 est plus lente de 20 à 25 % mais reste sans concurrence si le prix d'occasion est bas. Cet arbitrage se fait sur le prix, pas sur la fiche technique.

• Quel LLM sur RTX 4070 Ti Super
• Quel LLM sur RTX 5070 Ti
• Quel LLM sur RTX 5080
• Prix des cartes graphiques pour l'IA locale

#Verdict 2026 : garder, acheter ou passer

Gardez votre 4080 si

Vos modèles tiennent dans 16 Go. Elle reste rapide et rien ne justifie de la remplacer avant d'avoir besoin de 24 Go.

Achetez-la d'occasion si

Son prix est nettement inférieur à celui d'une 5070 Ti neuve, dont la bande passante est supérieure d'environ 25 %.

Visez 24 Go si

Vous voulez des modèles de 27B ou plus : aucun réglage ne fait tenir 17 Go dans 16 Go avec du contexte.

Une carte de 2022 ou 2023 a pu servir au minage ou au jeu intensif : demandez la facture d'origine si elle existe, et privilégiez un vendeur qui accepte un retour. Avant d'acheter d'occasion, vérifiez avec nvidia-smi que la carte affiche 16 Go, lancez un modèle de 14 Go et surveillez la température pendant une génération longue. La carte consomme jusqu'à 320 W : contrôlez l'alimentation, NVIDIA en recommande 750 W au minimum.

• Source : caractéristiques officielles NVIDIA (RTX 4080 et 4080 Super)
• Source : relevé tiers de débits llama.cpp sur GPU (GitHub)
• Source : FAQ officielle d'Ollama (Flash Attention, cache K/V)

#Questions fréquentes