Quel LLM sur RTX 3060 12 Go ?

#La RTX 3060 12 Go en chiffres

La RTX 3060 12 Go charge en entier tous les modèles de 7 à 14 milliards de paramètres en Q4 : Granite 4.2 8B (5,3 Go dans Ollama), Qwen3.5 9B (6,6 Go), Gemma 4 12B (7,6 Go) ou Qwen3 14B (9,3 Go). Ce n'est pas sa puissance de calcul qui décide, c'est sa mémoire. Les 12 Go de GDDR6 fixent la taille maximale du modèle et de son contexte. Les 360 Go/s de bande passante fixent la vitesse, puisque la carte relit l'essentiel des poids à chaque token. Les mesures publiées par des tiers donnent de 50 à 65 tokens par seconde sur un modèle de 8 à 9 milliards de paramètres et de 26 à 33 sur un 14B, assez pour un chat ou un assistant de code. Un modèle dense de 27 à 32 milliards déborde : il faut un MoE, une seconde carte ou plus de VRAM.

Architecture

Ampere, 3 584 cœurs CUDA, Tensor Cores de 3e génération (fiche NVIDIA).

Mémoire

12 Go de GDDR6 sur un bus de 192 bits. Tom's Hardware chiffre la bande passante crête à 360 Go/s.

Alimentation

170 W de puissance carte ; NVIDIA indique 550 W pour l'alimentation du système.

Compatibilité Ollama

Compute capability 8.6, pilote NVIDIA 550 ou plus récent sous Linux, 551.61 ou plus récent sous Windows.

Prix

Aucun prix ici, ils bougent chaque semaine : voir le suivi Prix GPU IA du site.

#1. Quels modèles tiennent en 12 Go

Le repère : poids du fichier, plus le cache de contexte, plus environ 1 Go de marge pour le runtime. Le tableau donne les poids affichés par Ollama pour les modèles que la carte charge entièrement et pour quelques voisins qui ne tiennent pas. La liste complète, toutes cartes confondues, se trouve dans le guide consacré aux 12 Go de VRAM.

Deux pièges. Le nombre dans le nom ne dit pas le poids : gemma4:e4b pèse 9,6 Go et gemma4:e2b 7,2 Go dans Ollama, soit davantage que le 12B (7,6 Go). Lisez la taille avant de télécharger. Ensuite, le Q8_0 de Qwen3.5 9B entre techniquement, mais ne laisse qu'environ 1 Go pour le contexte et les tampons : préférez le Q4_K_M à 6,6 Go, qui libère plus de 5 Go.

• Quel LLM pour 12 Go de VRAM : la liste complète, toutes cartes confondues

#2. Installer Ollama et vérifier que tout tourne sur le GPU

1. 01
   Contrôler le pilote NVIDIA

   Ollama exige la version 550 ou plus récente du pilote sous Linux et la 551.61 ou plus récente sous Windows. La commande nvidia-smi affiche la version installée et le nom de la carte.
2. 02
   Installer Ollama

   Sous Windows et macOS, utilisez l'installeur de ollama.com. Sous Linux, une seule commande suffit ; le GPU NVIDIA est détecté automatiquement.
3. 03
   Lancer un premier modèle de 12 Go

   ollama run gemma4:12b télécharge 7,6 Go et lance un modèle qui accepte aussi les images. Pour plus de vitesse, ollama run qwen3.5:9b pèse 6,6 Go.
4. 04
   Vérifier le placement

   ollama ps, dans un second terminal, affiche la colonne PROCESSOR. La valeur attendue est 100% GPU.

nvidia-smi
curl -fsSL https://ollama.com/install.sh | sh
ollama run gemma4:12b
ollama ps

#3. Les vitesses publiées, et le plafond théorique

À chaque token, la carte relit les poids actifs depuis la VRAM. Le plafond théorique est donc la bande passante divisée par le poids du modèle : 360 Go/s divisés par 5,3 Go donnent environ 68 tokens/s pour Granite 4.2 8B, 55 pour Qwen3.5 9B (6,6 Go), 47 pour Gemma 4 12B (7,6 Go) et 39 pour Qwen3 14B (9,3 Go). Ce sont des plafonds, jamais des mesures : Qwen3.5 9B est publié à 49,9 tokens/s (environ 90 % du plafond) et Qwen3 14B à 33,4 (environ 86 %), ce qui confirme que la mémoire limite la vitesse.

Les écarts sur un même modèle (51,3 contre 64,5 tokens/s pour Llama 3.1 8B) viennent de la méthode : logiciel, longueur du prompt, système. Ne comparez que des chiffres d'une même source ; aucun n'a été mesuré par le site.

La génération n'est que la moitié de l'expérience. LocalScore mesure le traitement du prompt à 1 483 tokens/s sur Llama 3.1 8B et à 759 tokens/s sur Qwen2.5 14B. Un document de 10 000 tokens attend donc environ 7 secondes avant la première réponse sur un 8B et 13 secondes sur un 14B. Ce traitement dépend du calcul, pas de la bande passante.

#4. Un modèle de 35B sur 12 Go : le cas des MoE

Un modèle MoE (mixture of experts) n'active qu'une fraction de ses paramètres à chaque token. Qwen3.6 35B-A3B en active environ 3 milliards, mais son fichier de 23 Go dans Ollama ne tient pas dans 12 Go. La parade prévue par llama.cpp est l'option --n-cpu-moe : elle garde en mémoire vive les poids des experts des N premières couches et laisse l'attention sur le GPU.

Un utilisateur a publié le 22 septembre 2026 ses mesures : RTX 3060 12 Go, Ryzen 5 3600, 32 Go de DDR4-3200, Qwen3.6-35B-A3B en Q4_K_M (environ 21 Go). Il relève 47 tokens/s sur une question courte, 45 avec 12 000 tokens de contexte et 37 avec 45 000. Avec une répartition par couches classique, la même machine tombait à 7,1 tokens/s sur 15 000 tokens (mesure faite avec Qwen3-30B-A3B), contre 25,3 après réglage. Seule une couche sur quatre des séries Qwen3.5 et 3.6 utilise l'attention classique : leur vitesse chute moins quand le contexte grandit.

Trois réserves : c'est la mesure d'une seule personne, sous llama.cpp et non sous Ollama ; elle suppose 32 Go de RAM ; et la vitesse de cette RAM compte. Sa DDR4-3200 tournait à 2 400 par défaut, et le profil XMP ou DOCP a ajouté 10 à 17 % de débit.

llama-server -m modele-moe-Q4_K_M.gguf -ngl 99 --n-cpu-moe 26 -c 32768 -ctk q8_0 -ctv q8_0

La valeur 26 est celle de l'auteur pour son modèle : plus elle monte, plus de VRAM se libère, mais plus la génération ralentit. Cherchez la valeur la plus basse qui laisse environ 1 Go de VRAM libre.

• Qwen3.6 35B-A3B en local : test et besoins VRAM

#5. Contexte et cache KV

#Le contexte, premier plafond des 12 Go

Ollama alloue par défaut 4 096 tokens de contexte sous 24 GiB de VRAM, alors que sa documentation recommande au moins 64 000 tokens pour les agents et les outils de code. Entre les deux, chaque token coûte de la mémoire. Exemple avec Qwen3 14B, dont l'architecture est publiée : 40 couches, 8 têtes KV, 128 dimensions par tête. Par token, le cache KV en 16 bits occupe 2 (clés et valeurs) × 40 × 8 × 128 × 2 octets, soit 160 Kio : environ 2,4 Gio pour 16 000 tokens et 3,7 Gio pour 24 000.

Le modèle de 9,3 Go représente 8,7 Gio, pour 12 Gio de VRAM. À 16 000 tokens, l'ensemble atteint 11,1 Gio : moins de 1 Gio reste pour les tampons du runtime, c'est trop juste. À 24 000 tokens, il atteint 12,3 Gio : le chargement échoue ou déborde sur le processeur. Avec un cache en 8 bits, 24 000 tokens ne prennent que 1,8 Gio, soit 10,5 Gio au total : cela tient.

#Cache KV en 8 bits et Flash Attention

Ollama active Flash Attention automatiquement quand le logiciel et la carte le permettent ; OLLAMA_FLASH_ATTENTION=1 le force. C'est un préalable au cache quantifié : avec OLLAMA_KV_CACHE_TYPE=q8_0, le cache occupe environ la moitié de la mémoire du f16 pour une perte de précision très faible, selon la documentation. Le réglage est global : tous les modèles servis utilisent le même type de cache.

OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0 OLLAMA_CONTEXT_LENGTH=16000 ollama serve

• Quantifier le KV cache : gagner de la VRAM sur les longs contextes

#6. Deux RTX 3060 12 Go : 24 Go de VRAM, pas deux fois plus vite

Deux cartes offrent 24 Go de VRAM, assez pour un modèle dense de 27 à 32B en Q4 : Qwen3.5 27B pèse 17 Go dans Ollama. Ollama répartit seul le modèle sur toutes les cartes quand il ne tient pas sur une. Côté llama.cpp, le découpage par défaut se fait par couches, en pipeline : elles s'exécutent l'une après l'autre. Le mode tensoriel, qui parallélise le calcul, est signalé comme expérimental.

Le gain porte donc sur la capacité, pas sur la vitesse : chaque token relit l'ensemble des poids, à 360 Go/s par carte. Plafond estimé pour un 32B de 20 Go : 360 divisés par 20, soit environ 18 tokens/s. Une RTX 3090 offre 24 Go sur une seule carte à 936 Go/s selon RunAIHome : le même modèle plafonne alors vers 47 tokens/s, soit 2,6 fois plus. Deux cartes de 170 W représentent aussi 340 W pour le seul GPU, alors que les 550 W de NVIDIA valent pour une seule.

Ce montage se justifie si vous possédez déjà une carte et cherchez à atteindre 24 Go. Si vous partez de zéro, comparez d'abord avec une seule carte de 16 ou 24 Go.

• LLM multi-GPU avec llama.cpp : tensor-split, réglages et pièges

#7. RTX 3060 8 Go, 3060 Ti, 4060, 5060 : ce que changent les 12 Go

La 3060 8 Go n'est pas une 3060 12 Go amputée de mémoire seulement : son bus passe de 192 à 128 bits, et Tom's Hardware chiffre sa bande passante à 240 Go/s contre 360 Go/s, soit 33 % de moins. LocalScore l'enregistre à 37,0 tokens/s contre 51,3, soit 28 % de moins sur le même modèle. Ces vitesses sont des entrées isolées, sans conditions contrôlées : la 3060 Ti y passe devant, ce que son bus de 256 bits rend plausible, mais ses 8 Go l'excluent des modèles de 12 ou 14 milliards de paramètres. La 5060 compense son bus étroit par de la GDDR7, sans changer sa capacité. Seule la 5060 Ti en version 16 Go dépasse la 3060 en VRAM.

nvidia-smi --query-gpu=name,memory.total --format=csv

#Acheter une 3060 12 Go : quand oui, quand passer à autre chose

Achetez une 3060 12 Go si

vous voulez un premier GPU pour Ollama, des modèles de 7 à 14B, un chat, un RAG documentaire ou de l'aide au code, et que la capacité compte plus que la vitesse.

Visez 16 Go si

vous voulez Gemma 4 12B avec un contexte long, ou davantage de marge pour un 14B. La RTX 5060 Ti 16 Go est la première marche ; la page de comparaison chiffre l'écart.

Visez 24 Go si

les modèles denses de 27 à 32B sont votre cible : une carte de 24 Go évite le découpage entre deux cartes et offre une bande passante bien supérieure.

Évitez ou vérifiez si

l'annonce ne précise pas la mémoire : la version 8 Go n'offre ni la capacité ni la bande passante de la 12 Go.

• Source : fiche NVIDIA des RTX 3060 et 3060 Ti
• Source : documentation Ollama, longueur de contexte
• Source : documentation Ollama, GPU pris en charge
• Source : llama.cpp, options du serveur (--n-cpu-moe, cache KV)
• Source : LocalScore, résultats de la RTX 3060 12 Go

#Questions fréquentes

Les prix évoluent vite : notre suivi relève chaque lundi et chaque jeudi le prix le plus bas des cartes graphiques pour l’IA locale, avec le prix du Go de VRAM.

• Prix des cartes graphiques pour l’IA locale (mis à jour deux fois par semaine)
• Comparatif RTX 3060 12 Go contre RTX 5060 Ti 16 Go