Quel LLM sur Radeon RX 6700 XT (12 Go) ?

#Ce que fait une RX 6700 XT en 2026

Une Radeon RX 6700 XT sert très bien de carte d'entrée pour un LLM local à condition d'accepter trois faits : ses 12 Go de mémoire accueillent un modèle de 14 milliards de paramètres en Q4 (environ 9 Go de poids) mais pas un 24B ; son chemin logiciel fiable est Vulkan, via llama.cpp ou Ollama, parce qu'AMD ne la liste pas dans ROCm ; et sa vitesse de génération, limitée par ses 384 Go/s de bande passante, suffit à une conversation fluide sur un 8B à un 12B. Sur un 7B en Q4_0, une mesure publiée sur le dépôt llama.cpp donne 83,88 tokens par seconde en génération sous Vulkan, un peu plus que la RTX 3060 12 Go mesurée dans la même discussion. Le vrai point faible est la lecture du prompt, deux fois plus lente.

Architecture

RDNA 2, puce Navi 22, lancée le 18 mars 2021 (fiche Wikipédia de la série RX 6000).

Calcul

2 560 processeurs de flux, 40 unités de calcul.

Mémoire

12 Go GDDR6, bus 192 bits, 384 Go/s.

Consommation

230 W de puissance de carte.

Prix

Non indiqué ici : les prix d'occasion varient chaque semaine, consultez /prix-gpu-ia.

#Ollama, ROCm ou Vulkan : le chemin qui marche

Le piège le plus fréquent avec cette carte est de chercher un guide ROCm. La documentation Ollama liste, pour Linux, les Radeon RX de la 6800 à la 9070 XT : la 6700 XT n'y est pas. Côté ROCm, le tableau de compatibilité d'AMD ne cite en RDNA 2 que des cartes professionnelles comme la PRO W6800 ou la V620. Ollama complète ce périmètre par Vulkan, activé par défaut quand le backend est installé, et c'est ce chemin qui reste ouvert à une 6700 XT. Un contournement existe pour ROCm, la variable HSA_OVERRIDE_GFX_VERSION qui force une cible LLVM voisine, mais il est réservé à l'expérimentation.

#Ce qui tient dans 12 Go de VRAM

La règle du site reste la même : le poids du modèle en Q4 plus le cache KV plus une marge pour le pilote et l'affichage. Sur 12 Go, un budget réaliste laisse environ 11 Go au modèle et à son contexte si la carte n'alimente pas l'écran. Les tailles ci-dessous viennent du catalogue QuelLLM et de nos repères habituels ; ce sont des poids seuls.

Le cache KV grandit avec la longueur de la conversation, ce qui explique pourquoi un 14B « tient » sur le papier mais se traîne dès que l'historique s'allonge. Le calculateur de VRAM du site donne l'addition exacte pour votre modèle et votre contexte, et le guide sur la quantification du cache KV explique comment récupérer un ou deux gigaoctets. Pour l'ensemble des cartes de 12 Go, la page dédiée compare les modèles sans se limiter à AMD.

• Calculateur de VRAM pour un modèle et un contexte donnés
• Quel LLM pour 12 Go de VRAM, toutes cartes confondues
• Quantifier le cache KV pour gagner de la VRAM

#Débits mesurés et plafond de bande passante

Aucun débit de cette page n'est une mesure du site. Les chiffres proviennent de la discussion publique du dépôt llama.cpp qui compare les cartes sous Vulkan avec le même modèle, Llama 2 7B en Q4_0 (3,56 GiB), et la commande llama-bench. Deux valeurs y comptent : pp512, la vitesse de lecture d'un prompt de 512 tokens, et tg128, la vitesse d'écriture de 128 tokens. Pour la RX 6700 XT, la discussion donne 1 051 tokens par seconde en lecture et 83,88 en génération ; avec la Flash Attention activée, 1 011 et 81,86.

Ce résultat se compare à un plafond simple : en génération, chaque token oblige la carte à relire tous les poids, donc la vitesse maximale tourne autour de la bande passante divisée par la taille du modèle. Ici 384 Go/s pour 3,82 Go de poids donnent un plafond théorique de 100 tokens par seconde ; la carte en atteint 83 %, un bon rendement, meilleur que celui de plusieurs cartes plus récentes de la même discussion.

Ces ordres de grandeur supposent que le rendement mesuré sur le 7B se retrouve sur les modèles plus gros, ce qui n'est pas garanti : un pilote, une version de llama.cpp ou une quantification différente peut déplacer le résultat de plusieurs points. Pour la lecture des prompts, retenez seulement le rapport entre cartes : c'est elle qui pèse dans un usage RAG avec de longs documents.

#Face à la RTX 3060 12 Go : la génération gagne, le prompt perd

La comparaison habituelle veut que la RTX 3060 12 Go l'emporte grâce à CUDA. Les mesures publiées sous Vulkan nuancent ce réflexe. En génération, la RX 6700 XT devance la RTX 3060 dans les deux modes ; en lecture de prompt, la RTX 3060 fait presque deux fois mieux. Les deux séries sont issues de la même discussion mais de versions de llama.cpp différentes : lisez l'écart comme un ordre de grandeur, pas comme un classement gravé.

La conséquence pratique : pour discuter avec un modèle, les deux cartes se valent ; pour interroger un long document, la RTX 3060 réagit plus vite au premier mot. CUDA garde aussi l'avantage de l'écosystème, avec moins de contournements à connaître. À prix d'occasion équivalent, la RTX 3060 12 Go reste le choix prudent, et la 6700 XT est une bonne affaire seulement si elle est déjà dans votre PC ou nettement moins chère.

• Quel LLM sur RTX 3060 12 Go, la carte concurrente directe

#Mise en route pas à pas

1. 01
   Vérifier le pilote Vulkan

   Sous Windows, le pilote Radeon inclut Vulkan et Ollama n'exige aucune étape supplémentaire. Sous Linux, installez les composants Vulkan de Mesa (RADV) ou le pilote AMD, comme l'indique la documentation d'Ollama.
2. 02
   Installer Ollama ou compiler llama.cpp

   Ollama active Vulkan par défaut une fois le backend installé. Avec llama.cpp, compilez avec l'option -DGGML_VULKAN=on.
3. 03
   Donner accès à la carte sous Linux

   Ajoutez l'utilisateur ollama au groupe render si la carte n'est pas détectée. Pour qu'Ollama lise la VRAM libre, lancez-le en root ou accordez la capacité indiquée dans la commande ci-dessous.
4. 04
   Lancer un premier modèle

   Téléchargez un 8B ou Gemma 4 12B en Q4_K_M, lancez-le avec la commande ollama run puis vérifiez avec ollama ps que le modèle est chargé sur le GPU et non sur le processeur.
5. 05
   Mesurer chez vous

   Exécutez llama-bench avec le même GGUF que la discussion publique pour comparer votre carte à ses résultats avant de chercher une cause de lenteur.

sudo setcap cap_perfmon+ep /usr/local/bin/ollama
# llama.cpp avec Vulkan
cmake .. -DGGML_VULKAN=on -DCMAKE_BUILD_TYPE=Release
./bin/llama-bench -m llama-2-7b.Q4_0.gguf -ngl 100 -fa 0,1

Si le débit vous semble bas sous RADV, la discussion llama.cpp recommande de lancer avec la variable d'environnement RADV_PERFTEST=nogttspill, qui corrige plusieurs problèmes de performance. Les autres réglages Vulkan se trouvent dans le guide de compilation dédié.

• Compiler llama.cpp avec Vulkan, pas à pas
• Ollama et GPU AMD : ce que ROCm couvre vraiment

#Limites et moment de passer à autre chose

Trois limites ressortent. La mémoire d'abord : 12 Go excluent les modèles de 20 à 32 milliards de paramètres, où se joue la qualité des assistants de code et de raisonnement. La lecture du prompt ensuite, qui rend les sessions à longs documents pénibles. Le support enfin : une carte hors liste officielle dépend de la bonne volonté des mises à jour de Vulkan et de llama.cpp, sans garantie de long terme.

• Radeon RX 7700 XT, l'étape RDNA 3 à 12 Go, prise en charge officielle
• Radeon RX 7800 XT, 16 Go pour passer aux modèles de 20 à 24B

#Verdict 2026

Elle vaut la peine

Si elle est déjà dans votre machine : c'est l'une des rares cartes de 2021 qui accepte encore un 14B en Q4 avec un rendement de génération supérieur à 80 % de son plafond théorique.

Achetez plutôt une RTX 3060 12 Go

Si vous partez de zéro et visez le même budget : lecture de prompt deux fois plus rapide et zéro contournement logiciel.

Changez de carte

Dès que vous voulez des modèles de 20 à 30 milliards de paramètres ; les prix évoluent chaque semaine, la page /prix-gpu-ia donne le coût du Go de VRAM.

• Prix des cartes graphiques pour l'IA locale, mis à jour deux fois par semaine
• Documentation Ollama : GPU pris en charge, ROCm et Vulkan
• Scoreboard Vulkan du dépôt llama.cpp (Llama 2 7B Q4_0)
• Compatibilité GPU de ROCm, documentation AMD

#Questions fréquentes