Quel LLM sur Radeon RX 7800 XT (16 Go) ?

#Pourquoi la RX 7800 XT est un bon plan pour un LLM local

La RX 7800 XT réunit trois atouts rares à ce niveau de gamme. Ses 16 Go de GDDR6 sur bus de 256 bits lui donnent 624 Go/s de bande passante, le facteur qui borne la vitesse de génération d'un LLM. AMD la liste officiellement dans ROCm (RDNA 3, cible gfx1101), et Ollama la cite pour Linux comme pour Windows. Enfin, les mesures publiques la placent à 118,27 tokens par seconde en génération sur un 7B en Q4_0 sous Vulkan, soit plus qu'une RX 7900 GRE dans la même série de mesures. Son handicap face à NVIDIA n'est pas la vitesse de génération mais la lecture du prompt, trois fois plus lente qu'une RTX 4070 Ti Super.

Architecture

RDNA 3, Navi 32 en chiplets : un GCD et quatre MCD, lancée le 6 septembre 2023. Elle n'est donc pas monolithique.

Calcul

3 840 processeurs de flux, 60 unités de calcul.

Mémoire

16 Go GDDR6, bus 256 bits, 624 Go/s.

Consommation

263 W de puissance de carte.

Prix

Non fixé ici : voir /prix-gpu-ia, qui relève le prix le plus bas chaque lundi et chaque jeudi.

#Juger une offre sans prix figé

Le mot « bon plan » suppose un prix, et le prix d'une carte change d'une semaine à l'autre. Plutôt que d'en citer un qui serait faux dans dix jours, voici la méthode. Calculez le coût du Go de VRAM : le prix divisé par 16 pour la 7800 XT, par 12 pour une carte de 12 Go. Le suivi du site publie ce chiffre pour chaque carte. Puis posez-vous la seule question qui compte : la capacité supplémentaire ouvre-t-elle un modèle que vous voulez vraiment utiliser ? Passer de 12 à 16 Go ouvre les modèles de 20 à 24B ; passer de 16 à 24 Go ouvre les 30B et plus.

Un exemple de raisonnement, sans valeur de prix : si l'écart entre une carte de 12 Go et la 7800 XT équivaut à une somme que vous auriez dépensée de toute façon pour un modèle de 24B, la question est tranchée. À l'inverse, si vous n'utilisez que des modèles de 8 à 12B, ces 4 Go ne servent pas, et la RX 7700 XT ou la RX 6700 XT suffisent.

• Prix des cartes graphiques pour l'IA locale, relevés deux fois par semaine
• Quel LLM pour 16 Go de VRAM, toutes cartes confondues

#Ce qui tient dans 16 Go de VRAM

Sur 16 Go, comptez environ 15 Go pour le modèle et son cache KV quand la carte n'affiche pas l'écran. Le catalogue QuelLLM donne les poids en Q4 ci-dessous ; le contexte s'y ajoute et la marge devient vite le facteur limitant sur les gros modèles.

Le mot clé du tableau est la marge : un 24B en Q4 y entre, mais avec un contexte de quelques milliers de tokens seulement. Pour un usage de code avec de longs fichiers, la quantification du cache KV libère un à deux gigaoctets, et une carte de 20 Go comme la RX 7900 XT règle le problème. Le tableau du site sur les modèles de 16 Go, indépendant de la marque de la carte, détaille les compromis de quantification.

Un mot sur les modèles à experts (MoE) comme gpt-oss 20B : seule une partie des paramètres travaille à chaque token, ce qui accélère la génération, mais tous les poids doivent résider en mémoire. C'est la taille totale, pas la taille active, qui décide si le modèle tient dans les 16 Go. Cela explique qu'un MoE de 20B côtoie un dense de 12B dans le tableau ci-dessus, avec le même poids d'environ 13 Go.

#Débits mesurés : Vulkan ou ROCm

Les chiffres ci-dessous ne sont pas des mesures du site : ils viennent de deux discussions publiques du dépôt llama.cpp, l'une pour Vulkan, l'autre pour ROCm, qui testent toutes deux Llama 2 7B en Q4_0 avec llama-bench. Les commits de llama.cpp, les systèmes et les pilotes diffèrent d'une série à l'autre, donc l'écart entre les deux séries est une indication, pas un classement définitif.

Deux enseignements se dégagent. D'abord, dans ces séries, Vulkan génère plus vite que ROCm sur cette carte (118 contre 101 tokens par seconde sans Flash Attention), alors que ROCm lit un peu plus vite le prompt. Ensuite, la Flash Attention accélère Vulkan mais ralentit légèrement la génération sous ROCm. Si votre priorité est la vitesse de réponse en conversation, essayez les deux backends avec votre modèle plutôt que de supposer que ROCm gagne.

Le rendement par rapport au plafond théorique aide à ne pas s'inquiéter : 624 Go/s divisés par 3,82 Go de poids donnent 163 tokens par seconde ; la carte en atteint 72 % sous Vulkan. Appliqué à des modèles plus gros, ce rapport donne des ordres de grandeur, à confirmer chez vous.

#Face aux cartes NVIDIA de 16 Go : la lecture du prompt tranche

La comparaison avec les RTX de 16 Go se joue sur deux mesures. En génération, la RX 7800 XT reste dans la même zone que les cartes NVIDIA mesurées sous Vulkan. En lecture de prompt, l'écart est très grand : trois fois moins vite qu'une RTX 4070 Ti Super. Ce second chiffre pèse dans les usages avec de longs documents ou de longs historiques de conversation, où l'on attend le premier mot. Pour un chat court ou un assistant de code à contexte modeste, il pèse peu.

• RTX 4070 Ti Super, l'alternative NVIDIA à 16 Go
• Radeon RX 7900 GRE, autre carte de 16 Go de la même génération

#Faire tenir un 24B dans 16 Go : les leviers utiles

Un modèle de 24 milliards de paramètres en Q4 pèse environ 14 Go, ce qui laisse à peine un gigaoctet pour le cache KV et le système. Quatre leviers évitent le débordement vers le processeur, qui ferait chuter la vitesse. Le premier est de limiter la fenêtre de contexte à ce dont vous avez réellement besoin, car le cache grandit avec chaque token. Le deuxième est de quantifier le cache KV, qui libère un à deux gigaoctets. Le troisième est de fermer les applications qui réservent de la VRAM, comme un navigateur avec accélération matérielle ou un jeu. Le quatrième est de brancher l'écran sur la carte graphique intégrée du processeur quand elle existe, ce qui rend à la carte AMD la mémoire que l'affichage occupait.

Contexte

Fixez la fenêtre au besoin réel : 4 000 à 8 000 tokens suffisent pour la plupart des conversations.

Cache KV

Quantifiez-le en 8 bits pour récupérer de la VRAM, en surveillant la qualité sur vos tâches.

Affichage

Utilisez la sortie vidéo de la carte intégrée quand elle existe.

Vérification

Après chargement, ollama ps doit afficher 100 % GPU ; toute autre proportion signale un débordement.

Le guide sur la fenêtre de contexte explique pourquoi un long historique consomme autant de mémoire que le modèle lui-même sur les petites cartes.

• Comprendre la fenêtre de contexte
• Quantifier le cache KV : gagner de la VRAM

#Mise en route

1. 01
   Choisir le système

   Sous Linux, AMD ne prend en charge les Radeon RX 7000 que sous Ubuntu 24.04.4, Ubuntu 22.04.5, RHEL 10.1 et RHEL 9.7. Sous Windows, Ollama s'appuie sur une pile ROCm v7 ou HIP7.
2. 02
   Installer Ollama

   Suivez la documentation d'Ollama : le pilote ROCm v7 est requis sous Linux. Vulkan est activé par défaut et sert de repli.
3. 03
   Charger un modèle qui tient

   Prenez un 12B en Q8 ou un 20B en Q4 avant d'essayer un 24B. Vérifiez avec ollama ps qu'il est entièrement sur le GPU.
4. 04
   Comparer Vulkan et ROCm

   Lancez llama-bench avec les deux backends sur votre modèle, avec et sans Flash Attention, et retenez le plus rapide pour votre usage.

ollama ps
./llama-bench -m llama-2-7b.Q4_0.gguf -ngl 100 -fa 0,1

• Ollama et GPU AMD : ROCm, Vulkan et variables utiles

#Verdict 2026

Un bon plan si

Vous visez des modèles de 20 à 24B et que le prix du Go de VRAM sur /prix-gpu-ia est inférieur à celui des cartes de 12 Go voisines.

Pas un bon plan si

Vous restez sur des 8 à 12B : une carte de 12 Go suffit, et vous payez des gigaoctets inutilisés.

À éviter

L'achat sans essai de chargement d'un modèle de 12 à 14 Go quand la carte est d'occasion.

• Documentation Ollama : cartes AMD prises en charge
• Compatibilité GPU de ROCm, documentation AMD
• Scoreboard Vulkan du dépôt llama.cpp
• Scoreboard ROCm du dépôt llama.cpp

#Questions fréquentes