Quel LLM sur GTX 1060 (6 Go) ?

#La GTX 1060 6 Go en 2026

La GTX 1060 6 Go est utilisable pour un LLM local à trois conditions : un modèle dont les poids en Q4 restent sous 4,5 Go environ, un contexte court, et l'acceptation d'un débit de l'ordre de 25 à 30 tokens/s sur un 7B. Le classement public des performances de llama.cpp sur CUDA donne 27,79 tokens/s en génération pour un Llama 2 7B en Q4_0 (3,56 Gio), soit un texte qui s'affiche un peu plus vite qu'on ne le lit. Au-delà de 8 milliards de paramètres, ou dès que vous demandez un long contexte, les 6 Go ne suffisent plus et le modèle déborde vers la mémoire centrale, ce qui écrase le débit.

Architecture

Pascal GP106, lancée le 19 juillet 2016, 1 280 cœurs CUDA (configuration 1280:80:48).

Mémoire

6 Go de GDDR5 sur un bus de 192 bits, soit 192 Go/s avec de la mémoire à 8 Gbit/s ; une variante à 9 Gbit/s existe, à 216 Go/s.

Logiciel

Compute capability 6.1 : toujours reconnue par Ollama, mais avec un pilote 570 ou plus récent.

Ce qui manque

Pas de Tensor Cores : les gains des cartes récentes sur le calcul matriciel ne s'appliquent pas.

#Quelle GTX 1060 avez-vous : 3 Go, 5 Go, 6 Go

Le nom GTX 1060 recouvre plusieurs cartes différentes, et la fiche de la carte compte davantage que son étiquette. Seule la version 6 Go est réellement adaptée aux LLM ; la version 3 Go n'a même pas les mêmes cœurs.

Sur la 3 Go, un modèle 3B en Q4 (environ 2 Go de poids) laisse à peine 1 Go pour le cache KV et le système : c'est un jouet. Sur la 5 Go, la marge est plus mince que sur la 6 Go. Si vous hésitez à acheter, ne choisissez aucune des deux.

#Ce qui tourne vraiment sur 6 Go

La question utile n'est pas « quel modèle tient dans 6 Go », mais « lequel tient avec du contexte et une marge pour le système ». Le repère du site : un 7-8B en Q4 pèse autour de 5 Go, un 3B autour de 2 Go, un 14B autour de 9 Go, poids seuls. Le cache KV, qui grossit avec la longueur de la conversation, et l'espace réservé par le pilote s'ajoutent. Le tableau ci-dessous croise la taille des poids en Q4 (catalogue QuelLLM) avec le plafond théorique de génération sur cette carte.

Le plafond théorique est optimiste : la génération d'un token exige de relire tous les poids actifs, donc le débit ne peut pas dépasser la bande passante divisée par la taille du modèle. Le vrai débit est plus bas, comme le montre la section suivante.

En pratique, la plage confortable se situe entre 3 et 4 milliards de paramètres : un modèle de cette taille laisse au moins 3 Go pour le contexte, tient sans discussion sur le GPU et répond sans attente marquée. Les 7-8B restent possibles pour des échanges courts, mais un seul document collé dans la conversation suffit à saturer la carte. Pour du traitement de fichiers longs, mieux vaut un autre matériel.

#Ce que mesurent les benchmarks publics

Aucun débit de ce guide n'est une mesure de QuelLLM. Les seuls chiffres cités viennent d'un banc public : la discussion « Performance of llama.cpp on Nvidia CUDA » du dépôt llama.cpp, où chaque contributeur lance llama-bench sur le même modèle, Llama 2 7B en Q4_0. Elle donne, pour cette carte, 416,85 tokens/s en traitement du prompt (pp512) et 27,79 tokens/s en génération (tg128).

Deux enseignements ressortent. D'abord, la 1060 atteint un peu plus de la moitié de son plafond théorique. Ensuite, la GTX 1660, qui a la même bande passante de 192 Go/s, sort 41,35 tokens/s : l'architecture Turing exploite bien mieux la même mémoire. À bande passante égale, une carte Pascal reste donc environ un tiers moins rapide qu'une Turing. Pour un modèle Granite 4.2 8B en Q4 (4,6 Go), l'estimation par simple proportionnalité (27,79 × 3,82 ÷ 4,6) donne environ 23 tokens/s : c'est un calcul, pas une mesure, et la pénalité du contexte s'y ajoute.

#Les 6 Go se jouent sur le contexte, pas sur le modèle

Ollama utilise par défaut une fenêtre de 4 096 tokens, modifiable avec la variable OLLAMA_CONTEXT_LENGTH. Plus la fenêtre est grande, plus le cache KV occupe de mémoire, et sur 6 Go la marge est étroite. Un Granite 4.2 8B en Q4 laisse environ 1,4 Go pour le cache et le système. Passer de 4 096 à 32 768 tokens multiplie le cache KV par huit : sur cette carte, la limite se rencontre bien avant la fenêtre maximale annoncée par le modèle.

La méthode pour rester sur le GPU : garder le contexte court, choisir un modèle plus petit plutôt qu'une quantification plus agressive, et vérifier avec la commande ollama ps que la colonne PROCESSOR affiche 100 % GPU. Un partage CPU/GPU indique que le modèle déborde : le débit s'effondre alors, parce que la mémoire centrale est bien plus lente que la GDDR5 de la carte.

ollama ps

La quantification du cache KV, activable avec Flash Attention, réduit encore l'empreinte : le guide dédié détaille le gain. Le principe reste le même que sur toute carte : si le modèle et son contexte ne rentrent pas ensemble, réduisez l'un des deux.

• Quantifier le KV cache pour gagner de la VRAM
• Comprendre la fenêtre de contexte

#Pilotes et CUDA : la date de péremption de Pascal

La GTX 1060 fonctionne encore, mais son environnement logiciel se rétrécit. La documentation d'Ollama précise que les cartes de compute capability 5.0 à 6.2 exigent un pilote NVIDIA 570 ou plus récent, et la GTX 1060 figure dans la liste des cartes reconnues. Côté NVIDIA, les notes de version de CUDA 13 indiquent que le support des architectures antérieures à Turing (Maxwell, Volta et Pascal) est abandonné : les nouveaux outils CUDA ne ciblent plus votre carte.

Côté pilotes, Wikipédia résume la situation : NVIDIA a cessé en décembre 2025 le support Game Ready de Maxwell, Pascal et Volta, la branche 580 est la dernière à les prendre en charge, et des mises à jour de sécurité sont prévues jusqu'en octobre 2028. Concrètement, la carte ne recevra plus d'optimisations ni de compatibilité avec de futures versions logicielles.

#Installer et vérifier en quatre étapes

1. 01
   Vérifier le pilote

   Lancez nvidia-smi : la version du pilote doit être 570 ou plus. Sous Windows comme sous Linux, installez la branche 580 si vous êtes plus bas.
2. 02
   Installer Ollama

   Suivez le guide d'installation de votre système, puis téléchargez un petit modèle (2 à 4 Go) avant de tenter un 8B.
3. 03
   Contrôler le placement

   Lancez une conversation, puis ollama ps dans un second terminal : la colonne PROCESSOR doit indiquer 100 % GPU.
4. 04
   Ajuster

   Si le débit est très bas ou si le processeur intervient, réduisez le contexte ou passez à un modèle plus petit.

• Installer Ollama pas à pas
• Dépanner Ollama : GPU non détecté, lenteurs

#Verdict : garder, acheter ou remplacer

Si la carte est déjà dans votre PC, elle vaut une soirée d'essai : elle sert bien pour du chat court, de la reformulation, de la traduction ou un petit assistant local à 3-4 milliards de paramètres. Si vous envisagez de l'acheter pour l'IA, la réponse est non : à mémoire égale, une carte Turing ou plus récente offre des débits supérieurs à bande passante identique, une meilleure compatibilité logicielle et un support bien plus long.

Pour comparer sans regarder les prix ici, qui changent chaque semaine, consultez la page des prix des cartes graphiques du site, et le guide des modèles adaptés à 6 Go de VRAM pour voir ce que d'autres cartes de cette taille permettent.

• Comparer les prix des GPU pour l'IA
• Quels modèles pour 6 Go de VRAM, toutes cartes
• Quel LLM sur RTX 3050
• VRAM : combien en faut-il pour l'IA

• Source : documentation Ollama, matériel NVIDIA pris en charge
• Source : benchmark public llama.cpp sur CUDA
• Source : notes de version du CUDA Toolkit
• Source : GeForce 10 series, caractéristiques et fin de support