Quel LLM sur RTX 5060 Ti (8 / 16 Go) ?

#RTX 5060 Ti pour un LLM local : ce que permettent 16 Go à 448 Go/s

Pour un LLM local, une RTX 5060 Ti 16 Go garde entièrement en VRAM les modèles jusqu'à 14 à 20 milliards de paramètres, mais sa bande passante de 448 Go/s la rend deux à trois fois plus lente que les cartes haut de gamme. Selon la bibliothèque Ollama, Qwen3 14B pèse 9,3 Go et gpt-oss 20B 14 Go. Hardware Corner mesure 32,9 tokens par seconde sur Qwen3 14B avec 16 000 tokens de contexte, et 43,8 sur gpt-oss 20B avec 128 000 tokens. Les modèles de 27 à 32 milliards, à 17 Go et plus, ne tiennent pas. La version de 8 Go, elle, se limite aux modèles de 9 milliards et moins.

Mémoire

16 Go ou 8 Go de GDDR7 sur un bus de 128 bits, selon NVIDIA ; 448 Go/s de bande passante, selon Hardware Corner.

Consommation

180 W de puissance graphique et 600 W d'alimentation système requise, selon NVIDIA. Cette valeur dépasse les 550 W qui circulent souvent.

Logiciel

Capacité de calcul 12.0, prise en charge par Ollama avec un pilote 550 ou plus récent.

#8 Go ou 16 Go : la seule vraie question

Les deux versions partagent le GPU et la bande passante : seule la capacité change, et c'est elle qui décide de ce que vous pouvez lancer. NVIDIA propose la 5060 Ti en 16 Go et en 8 Go ; la comparaison ci-dessous utilise les fichiers de la bibliothèque Ollama consultés le 29 septembre 2026.

Sur 8 Go, un modèle de 9 milliards laisse 1,4 Go pour le contexte et le système : c'est court, et le débordement en mémoire vive, plus lent, arrive vite. La version de 16 Go double le catalogue et ouvre les modèles de 12 à 20 milliards. Pour un usage LLM régulier, la 16 Go est la seule version qui garde une marge, même si elle reste loin d'une carte de 24 Go.

#Calculer sa marge avant de télécharger un modèle

La règle est simple : capacité de la carte, moins le poids du fichier, donne la marge brute, et cette marge doit couvrir le cache KV, les tampons du moteur et ce que le système d'exploitation prend pour l'affichage. Avec Qwen3 14B, 16 - 9,3 laisse 6,7 Go ; avec Qwen 3.5 9B sur la version 8 Go, 8 - 6,6 laisse 1,4 Go. Plus la marge est mince, plus il faut réduire le contexte et quantifier le cache. Si ollama ps affiche une répartition entre CPU et GPU, le modèle ou son contexte déborde : la génération chute alors vers la vitesse de la mémoire vive.

Sur la version 8 Go, trois habitudes évitent la plupart des débordements. Choisissez un modèle de 9 milliards ou moins, dont le fichier reste sous 7 Go. Gardez le contexte modeste tant que ollama ps affiche 100 % GPU. Et fermez les applications qui consomment de la mémoire vidéo, comme le navigateur ou les jeux, avant de lancer le modèle.

• Quel LLM pour 8 Go de VRAM : les modèles pour la version 8 Go

#Les modèles à privilégier sur 16 Go

Le bon réflexe est de partir de Qwen3 14B ou de gpt-oss 20B. Qwen3 14B laisse près de 7 Go pour le contexte. gpt-oss 20B tient dans 14 Go parce que, selon Ollama, ses poids d'experts sont quantifiés en MXFP4 sur 4,25 bits par paramètre, ce qui lui permet de tourner sur 16 Go de mémoire. Un modèle de 24 milliards en Q4, comme Devstral Small 2 (15 Go), ne laisse qu'un Go : il tient sur un échange court, pas sur un agent. Un RAG local ajoute un modèle d'embeddings : bge-m3 pèse 1,2 Go dans Ollama, soit 7,8 Go au total avec Qwen 3.5 9B.

• Quel LLM pour 16 Go de VRAM : la liste complète, toutes cartes confondues

#Installer Ollama sur une RTX 5060 Ti

1. 01
   Vérifier le pilote

   Lancez nvidia-smi dans un terminal : le pilote doit être en version 550 ou plus (551.61 sous Windows) et la mémoire totale afficher 16 Go, ou 8 Go pour l'autre version.
2. 02
   Installer Ollama

   Installez Ollama depuis son site officiel. L'API locale écoute sur http://localhost:11434.
3. 03
   Lancer un modèle

   Exécutez ollama run qwen3:14b sur 16 Go, ou ollama run qwen3.5:9b sur 8 Go. Le téléchargement se fait une seule fois.
4. 04
   Contrôler la répartition

   Dans un second terminal, exécutez ollama ps : la colonne Processeur doit afficher 100 % GPU. Sur 8 Go, une répartition CPU/GPU signifie que le modèle ou le contexte déborde : choisissez un modèle plus léger.
5. 05
   Ajuster le contexte

   Fixez le contexte avec OLLAMA_CONTEXT_LENGTH, puis relancez ollama ps. Si la marge manque, définissez OLLAMA_FLASH_ATTENTION à 1 et OLLAMA_KV_CACHE_TYPE à q8_0 au démarrage.

ollama run qwen3:14b
ollama run gpt-oss:20b
ollama ps

# Exemple de la documentation Ollama : contexte de 64 000 tokens
OLLAMA_CONTEXT_LENGTH=64000 ollama serve

• Installer Ollama sur Windows 11 : guide complet

#Débits mesurés : la bande passante fixe le rythme

Les chiffres viennent de Hardware Corner, qui teste la version 16 Go sur llama.cpp avec des contextes de 4k à 128k. Ce ne sont pas des mesures de QuelLLM.

La génération est bornée par la bande passante : le plafond théorique vaut environ la bande passante divisée par le poids du modèle. Pour Qwen3 14B (9,3 Go), 448 ÷ 9,3 donne 48 tokens par seconde, et la mesure à 4k, 41,1, en atteint 85 %. Le contexte coûte de la vitesse : Qwen3 14B perd 37 % entre 4k et 32k (41,1 à 25,9). gpt-oss 20B, modèle à experts, dépasse son plafond apparent (448 ÷ 14 = 32) avec 92,1 tokens par seconde, car il ne lit qu'une partie de ses poids par token.

Ollama règle le contexte par défaut selon la mémoire vidéo : sa documentation indique 4k tokens sous 24 Gio de VRAM, et recommande au moins 64 000 tokens pour les agents et la recherche web. La 5060 Ti tombe dans la tranche 4k. Selon sa FAQ, q8_0 réduit le cache KV à environ la moitié de la mémoire du f16, avec une perte de précision très faible : c'est le premier réglage à activer sur 16 Go, et il est indispensable sur 8 Go.

• Quantifier le cache KV pour gagner de la VRAM en contexte long

#5060 Ti face aux autres cartes : l'écart mesuré

Ce tableau montre le compromis de la 5060 Ti : elle génère près de moitié plus vite que la 4060 Ti 16 Go (100 ÷ 68), grâce à sa mémoire GDDR7 (448 contre 288 Go/s), mais elle reste loin de la 5070 Ti, qui offre la même capacité pour 76 % de vitesse en plus. Pour le débit seul, une 4070 Super de 12 Go est plus rapide, mais ne tient pas gpt-oss 20B. Selon Hardware Corner, son rapport prix/mémoire en fait la « value king » des débutants en 2026 ; comparez avec le suivi des prix du moment.

Hardware Corner note aussi que deux cartes de 16 Go permettent de monter à 32 Go sans le prix d'une carte phare. Le partage entre deux GPU passe par llama.cpp et son mode tensor-split, détaillé dans le guide multi-GPU ; il ajoute de la capacité, pas de la vitesse par carte.

• LLM multi-GPU avec llama.cpp : tensor-split sur 2 cartes

#Verdict : 16 Go, 8 Go ou une autre carte

Une méthode de décision tient en deux questions. Quel est le plus gros modèle que vous voulez lancer ? Sous 9 milliards, la version 8 Go suffit ; entre 12 et 20 milliards, il faut la 16 Go ; au-delà, il faut une carte de 24 Go ou deux cartes. Quelle vitesse acceptez-vous ? À 40 tokens par seconde sur un 14B, la lecture reste fluide ; la 5070 Ti ne se justifie que si vous générez de longs textes ou servez plusieurs personnes.

Pour le fine-tuning, Unsloth indique des minimums de VRAM en QLoRA 4 bits : 6 Go pour un modèle de 8 milliards, 8,5 Go pour 14 milliards, 22 Go pour 27 milliards. La version 16 Go permet donc de fine-tuner un 14B, avec un lot de 1 et un contexte court. Pour les prix du jour, consultez notre suivi, qui relève le prix le plus bas de chaque carte deux fois par semaine.

• Prix des cartes graphiques pour l'IA locale (mis à jour deux fois par semaine)

• Source : NVIDIA, spécifications de la famille RTX 5060
• Source : Hardware Corner, benchmarks LLM sur RTX 5060 Ti 16 Go
• Source : Ollama, page du modèle gpt-oss
• Source : documentation d'Ollama, longueur de contexte
• Source : Unsloth, VRAM requise pour le fine-tuning

#Questions fréquentes