Quel LLM sur GTX 1650 / 1660 / Super / Ti ?

#La série GTX 16 pour un LLM : ce qu'il faut retenir

Pour un LLM, la série GTX 16 se lit par la mémoire : 4 Go pour la GTX 1650, 6 Go pour les GTX 1660, 1660 Super et 1660 Ti. La vitesse de génération suit la bande passante, qui varie du simple au triple : 128 Go/s pour la 1650 en GDDR5, 192 Go/s pour la 1660, 288 Go/s pour la 1660 Ti et 336 Go/s pour la 1660 Super. À capacité égale de 6 Go, la 1660 Super est donc la plus rapide de la série, et la 1660 d'origine la plus lente.

La série n'a ni Tensor Cores ni RT Cores : Wikipédia précise qu'elle est fondée sur l'architecture Turing des RTX 20, en omettant ces deux types d'unités, et qu'elle conserve les cœurs entiers dédiés. Pour les modèles quantifiés en entiers, l'absence de Tensor Cores pèse peu sur la génération.

#Turing sans Tensor Cores : ce qui change par rapport à Pascal

Le point fort de la série est le FP16. Sur une GTX 1660, Wikipédia indique 8 617 GFLOPS en demi-précision pour 4 309 en simple précision : le FP16 tourne deux fois plus vite que le FP32, alors qu'il tourne bien plus lentement que le FP32 sur une GTX 10 grand public, comme le montre le guide de la GTX 1080 Ti. Cela explique que la 1660, à bande passante égale de 192 Go/s, dépasse nettement une GTX 1060 en génération, et que CUDA 13 ne l'ait pas abandonnée.

Le contre-exemple se trouve dans la lecture du prompt. Le banc llama.cpp donne 148,91 tokens/s à la 1660 en traitement du prompt, contre 416,85 pour la GTX 1060 : une carte plus récente peut lire un long texte presque trois fois plus lentement. Le banc ne détaille pas la cause ; le résultat vient d'un contributeur unique et doit se lire comme un ordre de grandeur. Il suffit pourtant à modérer l'enthousiasme pour les longs documents.

• GTX 1080 Ti : ce que change le FP16 sur Pascal

#Les quatre variantes une à une

GTX 1650 (4 Go)

Le banc n'a pas de 1650 mais contient une Quadro T1000 de 4 Go et 128 bits, de même bande passante : elle tient un 7B en Q4_0 à 27,82 tokens/s avec un contexte minimal. C'est la limite : sur 4 Go, mieux vaut un modèle de 2 à 3 milliards de paramètres.

GTX 1660 (6 Go GDDR5)

La carte du banc : 41,35 tokens/s en génération. La moins rapide des 6 Go, mais suffisante pour du chat en Q4.

GTX 1660 Ti (6 Go GDDR6)

288 Go/s : 50 % de bande passante de plus que la 1660, donc un gain de débit du même ordre attendu, à confirmer par mesure.

GTX 1660 Super (6 Go GDDR6)

336 Go/s : la meilleure de la série pour un LLM, avec 75 % de bande passante de plus que la 1660.

Ces extrapolations reposent sur la seule bande passante. En reprenant le rendement de la 1660 (82 % de son plafond théorique), une 1660 Ti produirait de l'ordre de 62 tokens/s et une 1660 Super environ 72 sur le même 7B Q4_0. Ce sont des projections à confirmer par une mesure sur votre carte, jamais des résultats.

Piège à l'achat : il existe deux GTX 1650. La version d'origine de 2019 utilise de la GDDR5 sur 128 bits, soit 128 Go/s ; une révision d'avril 2020 passe à de la GDDR6 à 12 Gbit/s et 192 Go/s. Pour un LLM, c'est un gain de 50 % de débit potentiel à modèle identique. Vérifiez la mention GDDR5 ou GDDR6 dans l'annonce, ou lisez la fiche dans GPU-Z, avant d'acheter une 1650 d'occasion.

#Le contexte sur 4 et 6 Go : le vrai plafond

Ollama démarre avec une fenêtre de 4 096 tokens, modifiable par OLLAMA_CONTEXT_LENGTH. Le cache KV croît avec chaque token de la conversation : doubler la fenêtre double le cache. Sur 6 Go, avec un Granite 4.2 8B en Q4, la marge d'environ 1,4 Go se consomme vite ; sur 4 Go, un modèle de 3B laisse 2 Go, une marge plus confortable qu'avec un 8B sur 6 Go.

La règle pratique : plutôt qu'une quantification plus agressive, réduisez la taille du modèle ou le contexte. Un 3B avec un long contexte donne de meilleurs résultats sur ces cartes qu'un 8B qui déborde vers le processeur. Contrôlez toujours avec ollama ps que le modèle reste à 100 % sur le GPU : un débordement fait chuter le débit, car la mémoire centrale est bien plus lente que la mémoire de la carte.

#Ce qui rentre : 4 Go contre 6 Go

Le repère du site place un 3B en Q4 autour de 2 Go et un 7-8B autour de 5 Go, cache KV en plus. Sur 6 Go, il reste environ 1,4 Go avec un Granite 4.2 8B en Q4 : suffisant pour un contexte de quelques milliers de tokens, pas davantage. Sur 4 Go, un modèle de 3B est le maximum raisonnable.

Sur la 1650, réservez-vous les modèles de 2 à 4 milliards de paramètres ; c'est aussi la bonne plage pour un usage de brouillon, de traduction ou de classement. Sur les 1660, le 8B en Q4 est la limite : il reste utilisable pour du chat mais laisse peu de place à un long contexte.

#Support logiciel : un avantage net sur les GTX 10

Ollama demande un pilote NVIDIA 550 ou plus récent pour les cartes récentes, contre 570 pour les cartes de compute capability 5.0 à 6.2 (Pascal inclus). La liste officielle d'Ollama cite la GTX 1650 Ti, ainsi que les RTX 20, en compute capability 7.5. Les autres GTX 16 partagent la même architecture Turing sans être nommées individuellement dans la liste : à vérifier au moment de l'installation.

Côté CUDA, les notes de version de la version 13 indiquent que le support abandonné concerne les architectures antérieures à Turing (Maxwell, Volta et Pascal) : Turing, donc les GTX 16, reste pris en charge. Pour un achat d'occasion, c'est l'argument principal en faveur d'une GTX 16 plutôt que d'une GTX 10 de prix voisin.

#Installer et régler

1. 01
   Vérifier le pilote

   Lancez nvidia-smi : la version doit dépasser 550.
2. 02
   Installer Ollama

   Suivez le guide d'installation de votre système, puis téléchargez un modèle adapté à votre mémoire.
3. 03
   Contrôler le placement

   Lancez ollama ps : la colonne PROCESSOR doit afficher 100 % GPU. Un partage avec le processeur signale un débordement.
4. 04
   Limiter le contexte

   Ollama démarre à 4 096 tokens. Sur 4 ou 6 Go, ne l'augmentez que si vous avez vérifié qu'il reste de la place.

Flash Attention n'est pas réservée aux cartes à Tensor Cores : llama.cpp l'exécute sur la GTX 1660 comme sur une carte Pascal, et le banc donne 154,45 tokens/s en lecture du prompt et 41,43 en génération avec, contre 148,91 et 41,35 sans. Le gain est faible mais la mémoire du contexte diminue, ce qui est utile sur 6 Go. Ollama l'active automatiquement quand la carte la prend en charge.

• Installer Ollama pas à pas
• Dépanner Ollama : GPU non détecté, lenteurs
• Quantifier le KV cache pour gagner de la VRAM

#Verdict : quelle GTX 16 et quand passer à autre chose

Un dernier repère de lecture : ces cartes ne sont pas faites pour les charges lourdes, mais leur enveloppe thermique reste modeste (120 W pour la GTX 1660, d'après Wikipédia). Pour un assistant local qui répond à quelques questions par jour, c'est un avantage réel sur une carte de 250 W.

À budget d'occasion comparable, la 1660 Super est une meilleure option qu'une GTX 1060 ou 1070 : même capacité, mémoire plus rapide, support logiciel plus long. Pour un achat neuf ou un usage régulier, une RTX 3050 ou une RTX 2060 ajoutent des Tensor Cores et davantage de mémoire selon la version. Les prix changent chaque semaine : consultez la page des prix du site.

• Quel LLM sur RTX 3050
• Quel LLM sur RTX 2060 / 2060 Super
• Quels modèles pour 6 Go de VRAM, toutes cartes
• Comparer les prix des GPU pour l'IA

• Source : benchmark public llama.cpp sur CUDA
• Source : documentation Ollama, matériel NVIDIA pris en charge
• Source : GeForce 16 series, caractéristiques
• Source : notes de version du CUDA Toolkit