Quel LLM sur Radeon RX 7900 XTX (24 Go) ?

#RX 7900 XTX pour les LLM : ce que 24 Go changent

La Radeon RX 7900 XTX fait tourner un LLM local sans difficulté dès que le modèle tient dans ses 24 Go de VRAM : un 7B à 9B en Q4 est très à l'aise, un 27B en Q4 (environ 16 Go de poids) laisse de la place au contexte, et un modèle MoE de 30 à 35 milliards de paramètres dont 3 milliards sont actifs tient encore, de justesse. Deux conditions : passer par Ollama, LM Studio ou llama.cpp, tous compatibles avec ses pilotes, et rester sous les 24 Go car au-delà le modèle déborde en RAM et la vitesse s'effondre. Elle porte la plus grosse VRAM de la gamme grand public AMD RDNA 3.

Le constructeur donne les chiffres qui comptent pour l'IA locale : 24 Go de GDDR6 et une bande passante mémoire pouvant atteindre 960 Go/s. La bande passante est le chiffre le plus utile ici, car la génération de texte lit à chaque token l'essentiel des poids du modèle : plus elle est haute, plus le plafond de tokens par seconde est haut.

#Pilotes et logiciels : ce qui est compatible en 2026

Pour une carte AMD, la première question est celle de la pile logicielle. La 7900 XTX figure dans la matrice de compatibilité ROCm de la documentation Radeon d'AMD, dans sa version 7.2.1, pour Ubuntu 22.04, 24.04 et 25.10. Ollama indique de son côté qu'il exige le pilote AMD ROCm v7 sous Linux, et liste la 7900 XTX aussi bien pour Linux que pour Windows. Deux conséquences pratiques : sous Linux, l'installation passe par l'utilitaire amdgpu-install ; sous Windows, la carte est reconnue sans manipulation particulière.

Si ROCm vous pose problème, il existe une seconde voie. Ollama précise que la prise en charge de GPU supplémentaires sous Windows et Linux passe par Vulkan, activé par défaut lorsque le backend est installé. Vulkan est aussi le backend de repli de llama.cpp : le guide llama.cpp avec Vulkan explique la compilation. Pour vLLM, la documentation actuelle liste les Radeon RX 7900 (gfx1100 et gfx1101) avec ROCm 6.3 ou supérieur, et propose des paquets préconstruits pour ROCm 7.0 et 7.2.1 avec Python 3.12.

#Installer Ollama sur une 7900 XTX (Linux)

1. 01
   Installer le pilote ROCm

   Suivez la documentation ROCm d'AMD et utilisez l'utilitaire amdgpu-install, comme le demande Ollama, puis ajoutez votre utilisateur aux groupes render et video et redémarrez.
2. 02
   Vérifier que la carte est vue

   Lancez rocminfo puis rocm-smi : la 7900 XTX doit apparaître avec 24 Go. Si rien n'apparaît, Ollama retombera sur le processeur.
3. 03
   Installer Ollama

   Utilisez le script officiel ou le guide d'installation d'Ollama sous Linux, puis téléchargez un modèle qui tient dans 24 Go.
4. 04
   Contrôler le placement

   Après une première réponse, ollama ps indique la part du modèle placée sur le GPU. Il doit afficher 100 % GPU ; sinon le modèle ou le contexte est trop grand.

rocminfo | head -30
rocm-smi
ollama run gpt-oss:20b
ollama ps

#Quels modèles tiennent dans 24 Go, et à quelle vitesse

La liste complète des modèles par palier de mémoire se trouve dans le guide « Quel LLM pour 24 Go de VRAM » ; voici l'essentiel pour cette carte. Les poids ci-dessous viennent du catalogue QuelLLM, en Q4, hors contexte. Le plafond théorique est la bande passante divisée par les poids lus à chaque token : il ne peut pas être dépassé et n'est pas atteint en pratique.

Deux lectures de ce tableau. D'abord, la marge : sur 24 Go, un modèle de 21 Go ne laisse que 3 Go pour le cache KV et le système, soit un contexte court. Le Qwen 3.8 27B, avec 8 Go de marge, est plus confortable pour un long contexte. Ensuite, les MoE : un modèle 35B-A3B ne lit que ses 3 milliards de paramètres actifs à chaque token, donc il génère bien plus vite qu'un dense de 27 milliards, mais il doit malgré tout tenir entièrement en VRAM.

#Ce que mesurent les benchmarks publics sur cette carte

Le tableau de référence de la communauté llama.cpp mesure, sur ROCm et avec un même modèle (Llama 2 7B en Q4_0), la vitesse de lecture du prompt (pp512) et celle de génération (tg128). Sur la 7900 XTX, un participant relève 3552 tokens/s en traitement du prompt et 167 tokens/s en génération sans Flash Attention, puis 3874 et 170 avec Flash Attention. L'auteur du tableau prévient que les résultats varient selon le pilote, le système et le fabricant de la carte, même à puce identique.

Ce tableau montre deux choses. La génération suit la bande passante : la 7900 XTX (960 Go/s) génère environ 1,65 fois plus vite que la 9070 XT (640 Go/s) et 2,5 fois plus vite que la 9060 XT (320 Go/s). En revanche, la lecture du prompt dépend davantage de la puissance de calcul matriciel, et la 9070 XT, de génération plus récente, devance la 7900 XTX sur ce point. Pour un usage de chat avec de longues réponses, la bande passante et les 24 Go priment ; pour du RAG avec de gros documents en entrée, la vitesse de lecture du prompt compte davantage.

#70B, 30B MoE et double carte : jusqu'où aller

Un 70B dense en Q4 pèse environ 40 Go de poids selon le repère du site, soit près du double de la VRAM : il faudrait placer plus de 16 Go en mémoire vive, et la vitesse serait alors limitée par la RAM et le bus PCIe, pas par la carte. Nous ne donnons pas de débit pour ce cas, faute de source vérifiable ; retenez seulement qu'il est inconfortable. Les MoE de 30 à 35 milliards de paramètres sont, pour la même qualité générale, la réponse pratique à cette limite de 24 Go.

Deux 7900 XTX changent la donne pour la capacité. Dans llama.cpp, le mode de répartition par défaut coupe le modèle par couches entre les cartes, avec un fonctionnement en pipeline, et une option permet de choisir les proportions par carte. Vous cumulez alors 48 Go, assez pour un 70B en Q4 avec un peu de contexte. Le gain porte sur ce qui tient, pas sur la vitesse par token : chaque token traverse les deux cartes l'une après l'autre. Côté matériel, deux cartes de 355 W représentent 710 W avant le reste du PC, ce qui impose une alimentation bien dimensionnée, deux emplacements PCIe corrects et un boîtier ventilé.

#Le contexte et le cache KV : la vraie limite des 24 Go

Le poids d'un modèle n'est qu'une partie de la mémoire utilisée : le cache KV grandit avec la longueur du contexte. Ollama utilise par défaut une fenêtre de contexte de 4 096 tokens selon sa documentation, modifiable avec la variable OLLAMA_CONTEXT_LENGTH ; les modèles récents annoncent 128 000 à 262 000 tokens, mais y accéder demande de la mémoire supplémentaire. Deux leviers : activer Flash Attention, qu'Ollama emploie automatiquement quand le backend et la carte le permettent, et quantifier le cache KV avec OLLAMA_KV_CACHE_TYPE (f16 par défaut, q8_0 pour réduire la mémoire). Le guide sur la quantification du cache KV détaille ces réglages.

OLLAMA_CONTEXT_LENGTH=32768 OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve

#7900 XTX, RTX 3090 ou 4090 : comment trancher

Sur le papier, la RTX 3090 offre aussi 24 Go, en GDDR6X selon NVIDIA. Le choix se fait donc sur la pile logicielle, l'environnement et le prix du moment, que nous ne figeons pas ici : consultez le suivi des prix des cartes pour l'IA locale avant d'acheter.

Si vous hésitez entre carte neuve et occasion, souvenez-vous que la 7900 XTX date de décembre 2022 : la garantie constructeur est souvent expirée sur une carte d'occasion, et une carte ayant miné ou tourné en continu mérite un contrôle des températures avant achat.

• Quel LLM pour 24 Go de VRAM : la liste complète des modèles
• Ollama avec GPU AMD (ROCm) : configuration détaillée
• LLM sur RX 7900 XT (20 Go)
• LLM sur RTX 3090 (24 Go)
• Quantifier le cache KV pour gagner de la VRAM
• Prix des cartes graphiques pour l'IA locale

• Source : fiche AMD de la Radeon RX 7900 XTX
• Source : documentation GPU d'Ollama
• Source : tableau de performances llama.cpp sur ROCm
• Source : installation de vLLM sur GPU

#Questions fréquentes