Quel LLM sur RTX 3070 / 3070 Ti (8 Go) ?

#RTX 3070 et 3070 Ti pour un LLM local : ce que permettent 8 Go

Pour un LLM local, une RTX 3070 ou une 3070 Ti vaut par ses 8 Go de VRAM, et cette capacité fixe tout : les modèles jusqu'à 8 à 9 milliards de paramètres en Q4 tiennent, ceux de 12 milliards et plus non. Selon la bibliothèque Ollama, Granite 4.2 8B pèse 5,3 Go, Qwen3 8B 5,2 Go et Qwen 3.5 9B 6,6 Go ; Qwen3 14B (9,3 Go) et gpt-oss 20B (14 Go) dépassent la carte. La 3070 Ti, à 608 Go/s contre 448 pour la 3070, génère plus vite mais avec la même capacité.

Mémoire

8 Go sur un bus de 256 bits : GDDR6 à 448 Go/s pour la 3070, GDDR6X à 608 Go/s pour la 3070 Ti, d'après le tableau de Wikipedia et NVIDIA.

Calcul

5 888 cœurs CUDA pour la 3070 et 6 144 pour la 3070 Ti, selon Wikipedia.

Consommation

220 W de puissance graphique et 650 W d'alimentation requise pour la 3070 ; 290 W et 750 W pour la 3070 Ti, selon NVIDIA. C'est plus que les 550 W qu'on lit parfois.

#Les modèles qui tiennent dans 8 Go

Les poids sont ceux des fichiers de la bibliothèque Ollama, consultés le 29 septembre 2026. La marge est ce qui reste sur 8 Go avant le contexte, le cache et les tampons du moteur ; elle doit aussi couvrir l'affichage si la carte pilote votre écran.

Le point de départ le plus sûr est un modèle de 8 milliards : Granite 4.2 8B ou Qwen3 8B laissent près de 3 Go pour le contexte. Qwen 3.5 9B est la limite haute en pratique : 1,4 Go de marge suffisent pour une conversation courte, pas pour un long document. Un RAG local ajoute un modèle d'embeddings : bge-m3 pèse 1,2 Go dans Ollama, soit 6,5 Go au total avec Granite 4.2 8B, et il reste 1,5 Go pour le reste.

• Quel LLM pour 8 Go de VRAM : la liste complète, toutes cartes confondues

#Installer Ollama sur une RTX 3070

1. 01
   Vérifier le pilote

   Lancez nvidia-smi dans un terminal : le pilote doit être en version 550 ou plus (551.61 sous Windows) et la mémoire totale afficher environ 8 Go.
2. 02
   Installer Ollama

   Installez Ollama depuis son site officiel. L'API locale écoute sur http://localhost:11434.
3. 03
   Lancer un modèle

   Exécutez ollama run granite4.2:8b : le téléchargement de 5,3 Go se fait une fois.
4. 04
   Contrôler la répartition

   Dans un second terminal, exécutez ollama ps : la colonne Processeur doit afficher 100 % GPU. Une répartition CPU/GPU signifie que le modèle ou le contexte déborde en mémoire vive.
5. 05
   Ajuster le contexte

   Fixez le contexte avec OLLAMA_CONTEXT_LENGTH, puis relancez ollama ps. Définissez OLLAMA_FLASH_ATTENTION à 1 et OLLAMA_KV_CACHE_TYPE à q8_0 au démarrage du serveur pour économiser de la VRAM.

ollama run granite4.2:8b
ollama ps

# Exemple de la documentation Ollama : contexte de 64 000 tokens
OLLAMA_CONTEXT_LENGTH=64000 ollama serve

• Installer Ollama sur Windows 11 : guide complet

#Débits : ce que la bande passante laisse attendre

Aucun site de benchmark de référence ne publie de mesure pour la RTX 3070 : les valeurs ci-dessous sont donc des estimations, pas des mesures. La méthode s'appuie sur le fait que la génération est bornée par la bande passante : le plafond théorique vaut environ la bande passante divisée par le poids du modèle. Pour Granite 4.2 8B (5,3 Go), 448 ÷ 5,3 donne 85 tokens par seconde sur la 3070 et 608 ÷ 5,3 donne 115 sur la 3070 Ti. Pour Qwen 3.5 9B (6,6 Go), les plafonds sont 68 et 92.

Le classement communautaire de llama.cpp permet de convertir ces plafonds en ordres de grandeur. Sur Llama 2 7B Q4_0, une RTX 3060 Ti 8 Go, carte à bus de 256 bits voisine de la 3070, génère 92,23 tokens par seconde sans Flash Attention et 96,50 avec. Une RTX 3060 12 Go, à 360 Go/s, génère 75,57 et 76,92 : le rapport (1,22) suit celui des bandes passantes (448 ÷ 360 = 1,24). Une 3070 devrait donc donner des débits proches de ceux de la 3060 Ti, autour de 90 à 95 tokens par seconde sur un 7B, et une 3070 Ti environ 35 % de plus, soit 120 à 130. Ce sont des estimations.

Les débits réels tournent autour de 70 à 80 % de ces plafonds sur les cartes mesurées ailleurs : comptez donc 55 à 65 tokens par seconde pour Granite 4.2 8B sur une 3070. Quelle que soit la valeur exacte, ces vitesses dépassent la lecture humaine : la limite de la 3070 est la capacité, pas la vitesse.

#Les limites des 8 Go : contexte, RAG et gros modèles

Ollama règle le contexte par défaut selon la mémoire vidéo : sa documentation indique 4k tokens sous 24 Gio de VRAM, et recommande au moins 64 000 tokens pour les agents, la recherche web et les outils de code. Sur 8 Go, viser 64 000 tokens avec un modèle de 8 milliards n'est pas réaliste : le cache KV, qui stocke les clés et valeurs d'attention de chaque token, consomme la marge. Selon la FAQ d'Ollama, la quantification q8_0 du cache réduit sa mémoire à environ la moitié de celle du f16, avec une perte de précision très faible : c'est le premier réglage à activer.

Modèles de 12 à 24 milliards

Gemma 4 12B (7,6 Go) ne laisse pas de contexte ; Qwen3 14B (9,3 Go) et gpt-oss 20B (14 Go) ne tiennent pas. Ils débordent en mémoire vive et la vitesse chute.

Contexte long

Avec Qwen 3.5 9B, 1,4 Go de marge s'épuisent vite : gardez un contexte de quelques milliers de tokens et surveillez ollama ps.

RAG multi-étapes

Granite 4.2 8B et bge-m3 occupent 6,5 Go : ajouter un reranker ou un second modèle déborde.

Fine-tuning

Selon Unsloth, le minimum absolu en QLoRA 4 bits est de 3,5 Go pour 3 milliards et de 6 Go pour 8 milliards : un 8B tient à peine, avec un lot de 1 et un contexte court.

Une méthode simple pour rester sous 8 Go tient en trois réglages. D'abord, choisissez un modèle dont le fichier laisse au moins 2 Go de marge : Granite 4.2 8B ou Qwen3 8B. Ensuite, activez le cache quantifié en q8_0 et Flash Attention, que le dépôt officiel de Flash Attention indique compatible avec les GPU Ampere comme la 3070. Enfin, montez le contexte par paliers, de 4 000 à 8 000 puis 16 000 tokens, en relançant ollama ps à chaque étape : dès qu'une part de CPU apparaît, revenez au palier précédent. Cette progression évite de découvrir la limite en pleine conversation.

• Quantifier le cache KV pour gagner de la VRAM en contexte long

#3070 face aux autres cartes 8 à 16 Go

Ce tableau met en évidence l'arbitrage. La 3060 12 Go a une bande passante 20 % plus basse que la 3070, mais 4 Go de plus : elle accepte Qwen3 14B (9,3 Go), que la 3070 refuse. La 4060 Ti 16 Go ajoute la classe des 20 milliards, avec une bande passante de 288 Go/s qui la rend moins rapide sur les petits modèles. Pour un LLM, la capacité prime sur la vitesse dès que le modèle visé dépasse 7,5 Go.

• Quel LLM sur RTX 3060 12 Go : ce que 4 Go de plus ouvrent

#Verdict : garder, remplacer ou ne pas acheter

La 3070 est une carte correcte pour un modèle de 8 milliards, sans plus. Elle reste utile comme carte de découverte : Ollama la prend en charge et un modèle de 8 milliards y répond plus vite qu'on ne lit. Elle ne convient pas si vous comptez utiliser des agents de code ou des documents longs, qui exigent du contexte que 8 Go ne laissent pas. Si vous l'avez déjà, elle suffit pour découvrir les LLM locaux. Si vous choisissez une carte pour ce seul usage, commencez par la capacité : un modèle plus gros qui tient vaut mieux qu'un petit modèle plus rapide. Pour les prix du jour, consultez notre suivi, qui relève le prix le plus bas de chaque carte deux fois par semaine.

• Prix des cartes graphiques pour l'IA locale (mis à jour deux fois par semaine)

• Source : NVIDIA, spécifications RTX 3070 et 3070 Ti
• Source : classement communautaire llama.cpp sur CUDA
• Source : documentation d'Ollama, longueur de contexte
• Source : FAQ d'Ollama, Flash Attention et cache KV
• Source : Unsloth, VRAM requise pour le fine-tuning

#Questions fréquentes