Quel LLM sur Radeon RX 9070 XT (16 Go) ?

#RX 9070 XT pour les LLM : 16 Go, 640 Go/s et un bon calcul

La Radeon RX 9070 XT est la Radeon grand public la plus capable pour les LLM parmi les RX 9000 : 16 Go de GDDR6 sur un bus de 256 bits, une bande passante pouvant atteindre 640 Go/s selon AMD, et un calcul matriciel nettement supérieur à celui de la RX 7900 XTX en FP16 et FP8. Elle exécute sans débordement les modèles dont les poids restent sous environ 13 à 14 Go en Q4 : un 9B ou un 12B avec un contexte long, gpt-oss 20B, Mistral Small 24B avec un contexte court. Sa limite est la capacité : les modèles denses de 27 milliards de paramètres en Q4 (environ 16 Go) ne tiennent pas.

#Logiciels : ROCm, Vulkan, LM Studio, vLLM

La RX 9070 XT figure dans la matrice ROCm 7.2.1 de la documentation Radeon d'AMD (Ubuntu 22.04, 24.04 et 25.10). Ollama la liste parmi les cartes prises en charge sous Linux avec le pilote ROCm v7 et associe la cible gfx1201 à la 9070 XT dans son tableau des cibles LLVM. LM Studio a annoncé dans sa version 0.3.19, en juillet 2025, la prise en charge des GPU AMD de la série 9000 sur Linux avec ROCm. vLLM liste les Radeon RX 9000 (gfx1200 et gfx1201) parmi ses matériels AMD.

Sous Windows, la liste ROCm d'Ollama s'arrête aux RX 7000 : les RX 9000 n'y figurent pas. Ollama précise toutefois que Vulkan fournit un support supplémentaire sous Windows et Linux, activé par défaut. Une 9070 XT sous Windows passe donc en pratique par Vulkan ; contrôlez avec ollama ps que le modèle est bien sur le GPU, et consultez le guide llama.cpp avec Vulkan si vous compilez vous-même.

#Mise en route sous Linux avec Ollama

1. 01
   Installer le pilote ROCm

   Suivez la documentation ROCm d'AMD avec l'utilitaire amdgpu-install, comme le demande Ollama, ajoutez votre utilisateur aux groupes render et video, puis redémarrez.
2. 02
   Confirmer la détection

   rocminfo doit lister un agent GPU et rocm-smi afficher les 16 Go. Sans cela, Ollama utilisera le processeur.
3. 03
   Lancer un premier modèle

   Installez Ollama avec son script officiel et démarrez un modèle qui tient dans 16 Go, par exemple un 9B en Q4.
4. 04
   Vérifier le placement

   Après la première réponse, ollama ps doit indiquer 100 % GPU. Un partage GPU et processeur signale un modèle ou un contexte trop grand.

rocminfo | grep -i gfx
rocm-smi --showmeminfo vram
ollama ps

#Quels modèles tiennent dans 16 Go

Les poids viennent du catalogue QuelLLM, en Q4 sauf mention. Ajoutez le cache KV et environ un gigaoctet de marge. La liste exhaustive par palier est dans le guide des 16 Go de VRAM.

Le plafond est la bande passante divisée par les poids lus à chaque token ; aucune carte ne l'atteint exactement. Les MoE comme gpt-oss 20B lisent moins de poids par token que leur taille totale et vont donc plus vite qu'un dense de même taille, à condition de tenir entièrement en VRAM.

#Ce que disent les mesures publiques

Le tableau de la communauté llama.cpp sur ROCm mesure un même modèle, Llama 2 7B en Q4_0, sur plusieurs cartes. Pour la RX 9070 XT, un participant relève 5 055 tokens par seconde en lecture du prompt (pp512) et 101 en génération (tg128), sans Flash Attention. Sur la 7900 XTX, le tableau donne 3 552 et 167 ; sur la 9060 XT, 1 420 et 68.

Deux enseignements. Premièrement, la 9070 XT lit un long prompt environ 40 % plus vite que la 7900 XTX, malgré une bande passante inférieure : c'est l'avantage du calcul matriciel plus puissant, utile pour le RAG, les longs documents et les agents de code qui renvoient beaucoup de contexte. Deuxièmement, en génération, la 7900 XTX reste devant, comme le laisse attendre sa bande passante supérieure de 50 %.

#Quel modèle choisir selon l'usage

Avec 16 Go, le bon choix dépend moins de la taille maximale que de la marge laissée au contexte. Une règle simple : gardez au moins 2 Go libres au-delà des poids pour le cache KV et les tampons, davantage si vous travaillez sur de longs documents. Le tableau propose un point de départ par usage, à partir des poids du catalogue QuelLLM.

Pour le RAG, le calcul matriciel de la 9070 XT est un vrai atout : un prompt de plusieurs milliers de tokens est lu vite, et un 9B en Q4 laisse 10 Go au cache KV, donc à un contexte long. Pour le code, un modèle de 14 Go tient mais avec un contexte court ; il faut alors quantifier le cache KV ou réduire la fenêtre.

#Contexte et cache KV : les deux réglages qui comptent

La documentation d'Ollama indique une fenêtre de contexte par défaut de 4 096 tokens, que la variable OLLAMA_CONTEXT_LENGTH modifie. Le cache KV se quantifie avec OLLAMA_KV_CACHE_TYPE, f16 par défaut, lorsque Flash Attention est active ; Ollama l'utilise automatiquement quand le backend et la carte le permettent. Augmentez le contexte progressivement en surveillant ollama ps : dès qu'une part du modèle passe sur le processeur, revenez d'un cran.

OLLAMA_CONTEXT_LENGTH=32768 OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve

#FP8 sur RX 9070 XT : ce que cela change vraiment

AMD liste pour la 9070 XT un calcul FP8 matriciel de 389 TFLOPs, ce qui n'existe pas sur la fiche de la RX 7900 XTX. En pratique, avec Ollama et les modèles GGUF en Q4 ou Q5, vous ne consommez pas de FP8 : les poids sont des entiers quantifiés. Le FP8 sert surtout aux moteurs qui chargent des poids FP8, comme vLLM, qui liste les RX 9000. Considérez-le comme une marge pour plus tard, pas comme un gain immédiat, et n'achetez pas la carte pour lui : la capacité de 16 Go et la bande passante restent les deux critères qui décident de ce que vous pouvez faire tourner aujourd'hui.

#RX 9070 XT ou RTX 5070 Ti

NVIDIA décrit la RTX 5070 Ti avec 16 Go de GDDR7 sur un bus de 256 bits : même capacité que la carte AMD, avec une mémoire d'une autre génération. À capacité égale, les modèles qui tiennent sont les mêmes ; la différence porte sur la vitesse de génération, sur l'écosystème CUDA et sur le prix, que nous ne figeons pas ici. Consultez le suivi des prix des cartes pour l'IA locale : c'est lui qui départage en général.

#Alimentation et boîtier

AMD recommande une alimentation de 750 W au minimum et indique 304 W de puissance typique pour la carte, avec deux connecteurs 8 broches. Ajoutez la consommation du processeur, des disques et des ventilateurs pour dimensionner l'ensemble, et vérifiez la longueur et l'épaisseur du modèle de votre fabricant : ces cartes sont souvent grandes. Un boîtier bien ventilé limite le bruit et les baisses de fréquence en charge prolongée, ce qui compte lorsque la carte génère du texte pendant des heures. Pour un serveur d'IA qui reste allumé, la consommation au repos et en charge compte autant que le prix d'achat sur la durée.

• Quel LLM pour 16 Go de VRAM : la liste complète
• Ollama avec GPU AMD (ROCm) : installation
• LLM sur RX 7900 XTX (24 Go)
• LLM sur RX 9060 XT (8 / 16 Go)
• Fiche matériel RX 9070 XT
• Prix des cartes graphiques pour l'IA locale

• Source : fiche AMD de la Radeon RX 9070 XT
• Source : documentation GPU d'Ollama
• Source : LM Studio 0.3.19, prise en charge des AMD série 9000
• Source : tableau de performances llama.cpp sur ROCm

#Questions fréquentes