Quel LLM sur RTX 4070 / 4070 Super / 4070 Ti (12 Go) ?

#RTX 4070 et LLM local : ce que permettent 12 Go

Pour un LLM local, une RTX 4070 vaut d'abord par ses 12 Go de mémoire et ses 504 Go/s de bande passante : ces deux chiffres fixent ce qui tient et à quelle vitesse. Les modèles de 7 à 14 milliards de paramètres en Q4 tiennent entièrement en VRAM : selon la bibliothèque Ollama, Qwen 3.5 9B pèse 6,6 Go, Gemma 4 12B 7,6 Go et Qwen3 14B 9,3 Go. Hardware Corner mesure 71 tokens par seconde sur Qwen3 8B et 42 sur Qwen3 14B avec un contexte de 4 000 tokens sur une RTX 4070. Les modèles de 24 à 27 milliards de paramètres, comme Mistral Small 24B (14 Go) ou Qwen 3.8 27B (18 Go), ne tiennent pas : ils débordent en mémoire vive et la vitesse chute. Les variantes Super et Ti n'ajoutent aucune bande passante.

Sorties

4070 Ti le 5 janvier 2023, 4070 le 13 avril 2023, 4070 Super le 17 janvier 2024, selon Wikipedia.

Mémoire

12 Go de GDDR6X, bus de 192 bits à 21 Gbit/s : 192 × 21 ÷ 8 = 504 Go/s, valeur relevée par Puget Systems pour les trois cartes.

Cœurs CUDA

5 888 pour la 4070, 7 168 pour la Super, 7 680 pour la Ti, selon NVIDIA.

Consommation

200, 220 et 285 W de puissance graphique ; alimentation requise de 650, 650 et 700 W, selon NVIDIA.

#4070, Super ou Ti : même mémoire, calcul différent

Pour produire un token, le GPU relit tous les poids actifs du modèle : la vitesse de génération est bornée par la bande passante mémoire, pas par le nombre de cœurs. Or les trois cartes ont la même : 504,2 Go/s. Puget a mesuré Phi-3-mini en GGUF 4 bits avec llama.cpp : l'écart de 25 % entre la 4070 et la 4070 Ti à la lecture du prompt devient, en génération, des scores presque identiques. Hardware Corner, avec d'autres modèles, classe la Super à 114 % et la Ti à 116 % de la 4070. L'écart réel va donc de quasi nul à environ 15 %, alors que les cœurs CUDA augmentent de 22 % à 30 %.

Le calcul sert à la lecture du prompt, la phase qui précède le premier mot. En FP16, d'après Puget, la Super offre 22 % de TFLOPS de plus que la 4070 et la Ti 38 % de plus. Cela compte pour un RAG, un long document ou un agent de code qui envoie de gros prompts : le délai avant la réponse baisse. Un chat court n'en profite guère.

#Les modèles qui tiennent dans 12 Go

Les poids sont ceux des fichiers de la bibliothèque Ollama consultés le 29 septembre 2026. La marge est ce qui reste sur 12 Go avant contexte, cache et tampons du moteur.

Qwen 3.5 9B est le point de départ le plus sûr. Gemma 4 12B, 11,95 milliards de paramètres selon Google, prend le relais si vous voulez aussi le son et l'image. Granite 4.2 8B convient à la recherche documentaire, où IBM met en avant le RAG et l'appel d'outils. Qwen3 14B est la limite haute : 2,7 Go de marge suffisent pour quelques milliers de tokens de contexte. Le Q8_0 de Qwen 3.5 9B ne laisse qu'un Go : contexte, tampons et mémoire prise par Windows peuvent le faire déborder.

Un RAG local ajoute un modèle d'embeddings : bge-m3 pèse 1,2 Go dans Ollama, soit 6,5 Go au total avec Granite 4.2 8B et 8,8 Go avec Gemma 4 12B.

• Quel LLM pour 12 Go de VRAM : la liste complète, toutes cartes confondues

#Le contexte : la mémoire qui reste après le modèle

Ollama règle le contexte selon la mémoire vidéo : sa documentation indique 4k tokens par défaut sous 24 Gio de VRAM, et recommande au moins 64 000 tokens pour les agents, les outils de code et la recherche web. Une RTX 4070 tombe dans la tranche 4k : un agent lancé avec les réglages par défaut perd son historique bien avant que la carte soit pleine. Monter le contexte coûte de la VRAM, sous forme de cache KV, qui stocke les clés et valeurs d'attention de chaque token déjà lu.

Sa taille se calcule : 2 (clés et valeurs) × couches à attention complète × têtes KV × dimension d'une tête × octets par valeur × nombre de tokens. Selon sa fiche Hugging Face, Qwen 3.5 9B n'a que 8 couches d'attention complète sur 32, avec 4 têtes KV de dimension 256. Gemma 4 12B combine des couches à fenêtre glissante de 1 024 tokens et des couches globales à clés et valeurs unifiées. Leur cache pèse bien moins que celui d'un transformeur classique.

Ce sont des estimations théoriques, pas des mesures : elles ignorent les tampons de calcul, l'état des couches DeltaNet et l'encodeur d'image, et la fourchette de Gemma vient de l'incertitude sur le partage des clés et valeurs. Qwen 3.5 9B (6,6 Go) avec 32 000 tokens laisse environ 4,4 Go ; à 128 000 tokens, le cache seul atteint 4 Gio et l'ensemble frôle les 12 Go. Contrôlez le résultat réel avec ollama ps.

Le levier suivant est la quantification du cache : selon la FAQ d'Ollama, q8_0 utilise environ la moitié de la mémoire du f16 pour une perte de précision très faible, et suppose la Flash Attention, qu'Ollama active automatiquement quand la carte et le modèle la gèrent. Un contexte long ralentit aussi la génération : Hardware Corner passe de 71 à 52 puis 38 tokens par seconde entre 4k, 16k et 32k avec Qwen3 8B.

• Quantifier le cache KV pour gagner de la VRAM en contexte long

#Installer Ollama et vérifier que le modèle tient

Sous Windows, Ollama demande un pilote NVIDIA 551.61 ou plus récent selon sa documentation, et la famille 4070 figure dans les cartes prises en charge. La procédure installe un modèle et contrôle qu'il tourne à 100 % sur la carte.

1. 01
   Vérifier le pilote

   Ouvrez l'application NVIDIA ou lancez nvidia-smi dans un terminal : le pilote doit être en version 551.61 ou plus récente.
2. 02
   Installer Ollama

   Téléchargez le programme pour Windows depuis le site d'Ollama. L'API locale écoute ensuite sur http://localhost:11434.
3. 03
   Lancer un modèle

   Ouvrez un terminal et exécutez ollama run qwen3.5:9b. Le téléchargement de 6,6 Go se fait une seule fois.
4. 04
   Contrôler la répartition mémoire

   Dans un second terminal, exécutez ollama ps. La colonne Processeur doit afficher 100 % GPU. Une répartition du type 48 % / 52 % CPU/GPU signifie que le modèle déborde en mémoire vive.
5. 05
   Régler le contexte et le cache

   Augmentez le contexte dans les paramètres de l'application Ollama ou avec OLLAMA_CONTEXT_LENGTH, puis relancez ollama ps. Si la marge manque, définissez OLLAMA_FLASH_ATTENTION à 1 et OLLAMA_KV_CACHE_TYPE à q8_0 au démarrage du serveur.

ollama run qwen3.5:9b
ollama run gemma4:12b
ollama ps

# Exemple de la documentation Ollama pour fixer le contexte à 64 000 tokens
OLLAMA_CONTEXT_LENGTH=64000 ollama serve

• Installer Ollama sur Windows 11 : guide complet
• Dépanner Ollama : GPU non détecté, lenteurs, erreurs de mémoire

#Débits mesurés par des tiers et plafond théorique

QuelLLM ne publie pas ici de mesure maison : chaque débit vient d'une source tierce, avec son modèle et son contexte. Hardware Corner a mesuré une RTX 4070 en mars 2026 ; XDA a publié en juin 2026 un essai sur une 4070 Ti.

Un plafond théorique aide à juger ces chiffres : la génération ne peut pas dépasser la bande passante divisée par le poids du modèle. Pour Qwen3 8B (5,2 Go chez Ollama), 504 ÷ 5,2 donne environ 97 tokens par seconde ; la mesure à 4k, 71,2, en atteint 73 %. Qwen3 14B (9,3 Go) plafonne à 54 et mesure 42,5, soit 78 %. XDA relève 65 à 67 sur Qwen 3.5 9B (plafond 76), soit 85 à 88 %. Pour Gemma 4 12B (7,6 Go, plafond 66), cette fourchette de 73 à 88 % donne 48 à 58 tokens par seconde : une estimation, pas une mesure.

Ces lignes viennent du classement communautaire de llama.cpp, où aucune RTX 4070 n'apparaît. La génération suit la bande passante : deux cartes à 672 Go/s, l'une à 12 Go et l'autre à 16 Go, vont à peu près aussi vite ; la 4060 Ti, à 288 Go/s, va deux fois moins vite. Par une règle de trois, une 4070 à 504 Go/s donnerait environ 99 tokens par seconde sur ce modèle de 3,56 Gio : une estimation, non une mesure.

#Au-delà de 12 Go : Qwen 3.8, Mistral Small, gpt-oss

Qwen 3.8 n'existe dans la bibliothèque Ollama qu'en 27 milliards de paramètres, à 18 Go en Q4_K_M : il dépasse de 6 Go la mémoire d'une RTX 4070 et serait réparti entre la carte et la mémoire vive. Comme il est dense, chaque token relit tous les poids. Avec 11 Go sur la carte à 504 Go/s et 7 Go en RAM à 60 Go/s (hypothèse pour une DDR5 double canal), un token demande 22 ms côté GPU et 117 ms côté RAM : le plafond tombe à environ 7 tokens par seconde, contre 76 pour Qwen 3.5 9B.

Les modèles à experts se prêtent mieux au débordement. gpt-oss 20B compte 21 milliards de paramètres dont 3,6 milliards actifs par token, d'après sa fiche. L'option --n-cpu-moe de llama.cpp garde en mémoire vive les experts des N premières couches, tandis que l'attention et le cache restent sur la carte. Le guide officiel de llama.cpp pour gpt-oss donne un exemple sur une RTX 2060 de 8 Go : 16 couches d'experts sur le CPU pour 32 000 tokens de contexte. Avec 12 Go, baissez N par paliers jusqu'à l'erreur de mémoire, puis remontez d'un cran.

llama-server -hf ggml-org/gpt-oss-20b-GGUF --ctx-size 32768 --jinja -ub 2048 -b 2048 --n-cpu-moe 16

Nous n'avons trouvé aucune mesure sourcée de cette méthode sur une RTX 4070 : le débit dépend de votre RAM et de N, à mesurer vous-même. Un utilisateur rapportait en août 2025 environ 10 tokens par seconde avec gpt-oss 20B sur une RTX 4070 dans Ollama, avec un partage automatique de 47 % CPU et 53 % GPU ; la version et le réglage ont pu changer depuis.

#Verdict : quelle 4070 et quand passer à 16 Go

La RTX 5070 corrige la vitesse, pas la capacité : NVIDIA lui donne 12 Go de GDDR7 sur un bus de 192 bits, soit 672 Go/s à 28 Gbit/s contre 504 pour la 4070. Pour entrer dans un modèle plus gros, ce sont les 16 Go qui comptent. Les guides de la 5070 et de la 4070 Ti Super détaillent chaque cas.

Les prix évoluent vite : notre suivi relève chaque lundi et chaque jeudi le prix le plus bas des cartes graphiques pour l’IA locale, avec le prix du Go de VRAM.

• Prix des cartes graphiques pour l'IA locale (mis à jour deux fois par semaine)

• Source : NVIDIA, spécifications de la famille RTX 4070
• Source : Puget Systems, performances LLM des GPU grand public
• Source : documentation d'Ollama, longueur de contexte
• Source : FAQ d'Ollama, Flash Attention et cache KV
• Source : guide llama.cpp pour exécuter gpt-oss

#Questions fréquentes

• Quel LLM sur RTX 3080 / 3080 Ti : la comparaison avec la 4070