Quel LLM sur RTX 5070 (12 Go) ?

#RTX 5070 pour un LLM local : ce que permettent 12 Go de GDDR7

Une RTX 5070 charge sans difficulté les modèles de 4B à 12B en Q4. Qwen 3.5 9B pèse 6,6 Go et Gemma 4 12B 7,7 à 8 Go d'après la bibliothèque Ollama : tous deux tiennent dans les 12 Go avec une marge de 4 à 5 Go pour le contexte, ce qui autorise 16 000 tokens ou plus avec le cache K/V quantifié. La carte ne charge en revanche aucun modèle de 14 Go : Mistral Small 24B et gpt-oss 20B dépassent les 12 Go. Sa vitesse est excellente pour un usage interactif : 672 Go/s sur un bus de 192 bits. La 5070 convient donc aux usages courants, et se heurte à un plafond net dès qu'on vise des modèles de qualité supérieure.

Architecture

Blackwell, 6 144 cœurs CUDA et Tensor Cores de 5e génération d'après NVIDIA.

Mémoire

12 Go de GDDR7 sur un bus de 192 bits, 672 Go/s de bande passante d'après Wikipedia.

Puissance

250 W de puissance graphique totale ; NVIDIA indique 650 W d'alimentation minimale pour le PC entier.

Prix de lancement

549 dollars, sortie le 5 mars 2025 d'après Wikipedia.

#Quels modèles tiennent dans 12 Go

Le repère du site est d'environ 0,6 Go par milliard de paramètres en Q4, poids seuls. Sur 12 Go, cela place la limite pratique vers 14 à 16 milliards de paramètres si le contexte reste court, et vers 12 milliards si vous voulez travailler sur de longs documents. Pour un modèle de 8B à 9B, la marge est très supérieure à ce qu'il faut pour un contexte courant.

#Installer Ollama et vérifier la carte

1. 01
   Pilote NVIDIA

   Ollama demande un pilote NVIDIA 550 ou plus récent. Pour une RTX 50, installez le pilote le plus récent proposé par NVIDIA et contrôlez avec nvidia-smi.
2. 02
   Installer Ollama

   Téléchargez l'installeur pour votre système : CUDA est embarqué.
3. 03
   Lancer un modèle

   Essayez ollama run gemma4:12b pour tester la limite de la carte, ou ollama run qwen3.5:9b pour un modèle plus léger.
4. 04
   Vérifier

   Exécutez ollama ps : la colonne PROCESSOR doit afficher 100 % GPU.

#Quelle vitesse attendre : un plafond, pas une mesure

Aucun débit n'est présenté ici comme une mesure maison. Le plafond de génération est la bande passante divisée par la taille des poids. Un relevé tiers public (LLaMA 3 8B en Q4_K_M sous llama.cpp, mai 2024) mesure 106 tokens/s sur une RTX 4080 dont le plafond est de 156 tokens/s, soit environ 68 %. En retenant 70 % comme ordre de grandeur, on obtient les estimations suivantes pour un contexte court.

Ces plafonds sont bien supérieurs à la vitesse de lecture humaine : la 5070 ne sera jamais lente sur ces modèles. Elle est limitée par la capacité, pas par la vitesse. Les estimations baissent avec le contexte, et la lecture de l'invite pèse sur le calcul plus que sur la mémoire.

#Gérer le contexte sur 12 Go

La marge de 4 Go de Gemma 4 12B disparaît vite avec un long contexte. Ollama quantifie le cache K/V en q8_0 pour utiliser environ la moitié de la mémoire du f16, valeur par défaut, avec une perte de précision très faible selon sa documentation ; cela suppose Flash Attention. C'est le réglage qui rend un modèle de 12B utilisable sur des documents longs.

export OLLAMA_FLASH_ATTENTION=1
export OLLAMA_KV_CACHE_TYPE=q8_0
export OLLAMA_CONTEXT_LENGTH=16384
ollama serve

Un point piège si vous servez plusieurs personnes : plusieurs requêtes en parallèle augmentent d'autant le contexte réservé, d'après la FAQ d'Ollama. Un modèle qui tient pour un utilisateur peut déborder pour trois.

• Quantifier le KV cache pour gagner de la VRAM
• Comprendre la fenêtre de contexte

#Ce que l'on fait concrètement avec 12 Go

Douze gigaoctets changent la nature des usages par rapport à 8 Go. Un modèle de 9B laisse assez de place pour un contexte de 16 000 tokens et un petit modèle d'embeddings : c'est la configuration d'un RAG personnel confortable. Un modèle de 12B donne des réponses de meilleure qualité en rédaction et en synthèse, au prix d'un contexte plus limité. Un assistant de code se contente d'un modèle de 8B à 12B et d'extraits ciblés, mais pas d'un dépôt entier chargé d'un coup.

Le choix entre 9B et 12B dépend de la tâche. Le 9B laisse plus de marge et se prête à des contextes longs ; le 12B est plus capable, mais chaque gigaoctet de contexte compte. Commencez par le plus petit qui répond à votre besoin, et n'allez au 12B que si la qualité l'exige.

#Quand la 5070 ne suffit plus

Trois signaux indiquent qu'il faut plus de mémoire. Vous voulez un modèle de 14 à 24B, dont Mistral Small 24B ou gpt-oss 20B. Vous avez besoin d'un contexte supérieur à 16 000 tokens sur un 12B. Vous chargez plusieurs modèles ensemble : génération, embeddings, reranker. Dans ces cas, la vitesse de la 5070 n'est pas en cause, et la 5070 Ti, la 5080 ou une carte de 24 Go sont les paliers suivants.

#Ce que 12 Go ne suffit pas à charger

Un modèle qui déborde ne plante pas : une partie des poids est lue depuis la RAM système, et le débit chute nettement, puisque le lien PCIe est bien plus lent que la GDDR7. Un modèle de 14 Go sur 12 Go est donc utilisable pour un test, mais pas pour un usage quotidien. Pour ces modèles, visez 16 Go ou plus.

#Jouer et faire tourner un LLM sur la même carte

La RTX 5070 sert souvent aux deux usages. Le modèle chargé occupe la VRAM tant qu'il reste en mémoire, et un jeu récent demande lui aussi plusieurs gigaoctets : sur 12 Go, les deux ensemble débordent vite. La règle est simple : déchargez le modèle avant de lancer un jeu, puis rechargez-le ensuite. Ollama libère la mémoire après une période d'inactivité, et ollama ps indique ce qui est encore chargé. Si vous voulez un assistant disponible pendant vos parties, préférez un petit modèle de 4B.

#Une 4070 Ti Super d'occasion à la place ?

La question revient souvent : une RTX 4070 Ti Super d'occasion, avec 16 Go, contre une RTX 5070 neuve, avec 12 Go. Pour le LLM, la capacité l'emporte : 16 Go chargent des modèles de 14 Go que la 5070 ne peut pas loger. La 5070 garde l'avantage de la garantie, d'une consommation plus basse (250 W) et de la mémoire GDDR7. Si vos modèles tiennent dans 12 Go, la 5070 neuve est un choix raisonnable ; sinon, la capacité prime. Le guide dédié détaille la 4070 Ti Super.

• Quel LLM sur RTX 4070 Ti Super

#5070 ou 5070 Ti : 12 Go ou 16 Go

La 5070 Ti apporte deux choses : 4 Go de mémoire en plus, qui ouvrent Mistral Small 24B et gpt-oss 20B, et 33 % de bande passante en plus. Les prix conseillés au lancement étaient de 549 dollars pour la 5070 et de 749 dollars pour la 5070 Ti, soit 200 dollars d'écart. Si vos modèles tiennent dans 12 Go, la 5070 suffit ; si vous visez des modèles de 14 Go, l'écart est un bon investissement. Consultez le suivi des prix pour comparer au moment de l'achat.

• Quel LLM sur RTX 5070 Ti
• Quel LLM pour 12 Go de VRAM
• Prix des cartes graphiques pour l'IA locale

#Verdict 2026

Achetez une 5070 si

Vos modèles font 4B à 12B et que vous voulez la vitesse de la génération Blackwell. Elle est très capable pour cet usage.

Préférez la 5070 Ti si

Vous voulez explorer des modèles de 14 à 24B : les 16 Go font la différence.

Attention au jeu et au LLM ensemble

Un jeu récent et un modèle chargé se partagent les 12 Go : fermez l'un avant de lancer l'autre.

En résumé, la 5070 est une carte rapide dont le seul défaut est de s'arrêter à 12 Go. Si ce plafond ne vous gêne pas aujourd'hui, il ne vous gênera pas non plus dans les prochains mois, tant que vous restez sur des modèles de 4B à 12B ; s'il vous gêne, il vaut mieux payer la capacité dès maintenant.

• Source : caractéristiques officielles NVIDIA (RTX 5070 et 5070 Ti)
• Source : FAQ officielle d'Ollama (Flash Attention, cache K/V, parallélisme)
• Source : tailles de Gemma 4 dans la bibliothèque Ollama

#Questions fréquentes