Quel LLM sur RTX 5060 (8 Go) ?

#RTX 5060 pour un LLM local : ce que permettent 8 Go de GDDR7

Une RTX 5060 fait tourner sans difficulté les modèles de 3 à 9 milliards de paramètres en Q4. Qwen 3.5 4B pèse 3,4 Go, Granite 4.2 8B 5,3 Go et Qwen 3.5 9B 6,6 Go d'après la bibliothèque Ollama : tous tiennent dans les 8 Go de la carte, le dernier avec un contexte court. Un modèle de 12B, comme Gemma 4 12B (7,7 à 8 Go), occupe déjà toute la mémoire avant le premier token de contexte. La force de la carte est sa mémoire : 448 Go/s sur un bus de 128 bits, contre 272 Go/s pour la RTX 4060, soit 65 % de plus. Pour du chat, du résumé ou un petit RAG, la 5060 est très à l'aise. Pour aller au-delà de 9B, il faut plus de VRAM, pas plus de vitesse.

Architecture

Blackwell, 3 840 cœurs CUDA et Tensor Cores de 5e génération d'après NVIDIA.

Mémoire

8 Go de GDDR7 sur un bus de 128 bits, 448 Go/s de bande passante.

Puissance

145 W de puissance graphique totale ; NVIDIA indique 550 W d'alimentation minimale pour le PC entier.

Prix de lancement

299 dollars, sortie le 19 mai 2025 d'après Wikipedia.

#Pourquoi la 5060 est plus rapide que la 4060 à capacité égale

En génération, chaque token oblige le GPU à relire l'essentiel des poids du modèle. La vitesse maximale est donc la bande passante divisée par la taille des poids. La 5060 lit sa mémoire 65 % plus vite que la 4060 : à modèle identique, le plafond théorique augmente dans la même proportion. C'est le seul argument technique qui compte pour le LLM. Les cœurs CUDA aident la lecture de l'invite, pas la génération, qui reste bornée par la mémoire.

#Quels modèles tiennent dans 8 Go

Gemma 4 12B illustre le piège de la taille de fichier : ses poids occupent 7,7 à 8 Go, mais la carte doit aussi loger le cache de contexte et l'affichage. Le modèle se charge, mais avec un contexte de quelques milliers de tokens au mieux, et il déborde en RAM dès qu'une application prend un peu de VRAM. Sur 8 Go, Qwen 3.5 9B ou Granite 4.2 8B sont des choix plus sûrs, et laissent une marge exploitable.

#Images, vision et quantification : deux précisions

La bibliothèque Ollama indique que Qwen 3.5 accepte le texte et l'image : un modèle de 4B ou de 9B peut donc décrire une capture d'écran ou lire un schéma. Les images consomment du contexte, ce qui réduit la marge sur 8 Go ; préférez le 4B (3,4 Go) pour la vision si vous voulez garder de la place. Côté quantification, Q4_K_M reste le bon compromis sur 8 Go : passer à une quantification plus fine alourdit les poids de plusieurs centaines de mégaoctets, marge que la carte n'a pas, sans changement visible pour un usage courant.

#Installer Ollama et vérifier la carte

1. 01
   Pilote NVIDIA

   Ollama demande un pilote NVIDIA 550 ou plus récent. Pour une RTX 50, installez le pilote le plus récent proposé par NVIDIA. Contrôlez avec nvidia-smi.
2. 02
   Installer Ollama

   La RTX 5060 figure dans la liste des cartes prises en charge (capacité de calcul 12.0). CUDA est embarqué : aucune installation séparée n'est nécessaire.
3. 03
   Premier modèle

   Lancez ollama run qwen3.5:9b (6,6 Go) ou ollama run granite4.2:8b (5,3 Go) si vous préférez garder de la marge.
4. 04
   Contrôle

   Exécutez ollama ps : la colonne PROCESSOR doit afficher 100 % GPU.

#Quelle vitesse attendre : un plafond, pas une mesure

Aucun débit n'est présenté ici comme une mesure maison. Le plafond de génération est la bande passante divisée par la taille des poids. Un relevé tiers public (LLaMA 3 8B en Q4_K_M sous llama.cpp, mai 2024) mesure 106 tokens/s sur une RTX 4080 dont le plafond est de 156 tokens/s, soit environ 68 %. En retenant 70 % comme ordre de grandeur, on obtient les estimations suivantes pour un contexte court.

Tous ces plafonds dépassent largement le seuil de lecture confortable, autour de 15 à 20 tokens/s. La vitesse n'est donc pas ce qui limitera la 5060 : ce sera la capacité de 8 Go.

#Régler Ollama pour ne pas déborder des 8 Go

Ollama quantifie le cache K/V en q8_0 pour utiliser environ la moitié de la mémoire du f16, valeur par défaut, avec une perte de précision très faible selon sa documentation ; cela suppose Flash Attention. Sur 8 Go, c'est le levier le plus rentable : il permet d'allonger le contexte sans changer de modèle.

export OLLAMA_FLASH_ATTENTION=1
export OLLAMA_KV_CACHE_TYPE=q8_0
export OLLAMA_CONTEXT_LENGTH=8192
ollama serve

Un seul modèle

Ne chargez qu'un modèle à la fois ; un modèle d'embeddings pour un RAG doit rester petit.

Applications gourmandes

Navigateurs avec accélération matérielle, jeux et encodage vidéo réservent de la VRAM : fermez-les avant de charger.

Contexte adapté

Chaque doublement du contexte double le cache K/V : n'augmentez que pour la tâche qui l'exige.

Surveillance

nvidia-smi pendant une génération longue montre la marge réelle.

• Quantifier le KV cache pour gagner de la VRAM
• Quel LLM pour 8 Go de VRAM

#Ce que l'on fait concrètement avec 8 Go

Le bon critère est le travail demandé, pas la taille du modèle. Un chat ou une reformulation se font sur un 4B comme sur un 8B. Un résumé de documents de quelques dizaines de pages demande un contexte de 8 000 à 16 000 tokens : avec le cache K/V en q8_0, un 8B y parvient sur 8 Go. Un RAG combine un modèle de génération, un modèle d'embeddings et le contexte des extraits retrouvés : gardez le modèle de génération sous 9B. L'assistant de code est le cas le plus contraignant, car les modèles spécialisés dépassent vite la carte.

Si un modèle déborde, la génération ne s'arrête pas : une partie des poids est lue depuis la RAM système. Le symptôme est une baisse brutale du débit. La commande ollama ps affiche la répartition entre GPU et CPU ; une ligne à 100 % GPU est saine, une ligne partagée signale un débordement, qu'on corrige en réduisant le contexte ou en changeant de modèle.

#Quand la 5060 ne suffit plus

Trois signaux indiquent qu'il faut plus de mémoire. Vous voulez un modèle de 12B ou plus pour de la rédaction de qualité. Votre contexte dépasse régulièrement 16 000 tokens à cause de longs documents. Vous chargez plusieurs modèles ensemble, génération, embeddings et reranker. Dans ces cas, ajouter de la vitesse ne change rien : c'est la capacité qui manque, et les paliers suivants sont décrits dans les pages 12 Go et 16 Go.

• Quel LLM pour 12 Go de VRAM
• Quel LLM pour 16 Go de VRAM

#5060 ou 5060 Ti 16 Go : l'arbitrage qui compte

La RTX 5060 Ti 16 Go utilise la même mémoire GDDR7 sur un bus de 128 bits, donc la même bande passante de 448 Go/s d'après Wikipedia. Ses 4 608 cœurs CUDA et 16 Go de mémoire sont ses vraies différences. Elle génère donc à la même vitesse sur un modèle qui tient dans les deux cartes, mais elle charge aussi des modèles de 14 Go que la 5060 ne peut pas loger. Les prix conseillés au lancement étaient de 299 dollars pour la 5060, 379 dollars pour la 5060 Ti 8 Go et 429 dollars pour la 5060 Ti 16 Go : l'écart de 130 dollars achète une capacité doublée.

• Quel LLM sur RTX 5060 Ti
• Prix des cartes graphiques pour l'IA locale

#Verdict 2026

Achetez une 5060 si

Vos modèles font 4B à 9B, que le budget est serré et que vous voulez du neuf avec garantie. C'est la carte de 8 Go la plus rapide.

Préférez la 5060 Ti 16 Go si

Vous visez du 12B à 24B : la capacité prime sur la vitesse et le surcoût est modeste.

Évitez la 5060 si

Vous comptez utiliser Gemma 4 12B, gpt-oss 20B ou tout modèle de plus de 8 Go de façon sérieuse.

Le résumé tient en une phrase : la 5060 est la carte de 8 Go qu'on choisit pour sa vitesse et son prix, pas pour sa capacité. Si votre usage tient dans 8 Go, elle est difficile à battre en neuf ; s'il n'y tient pas, aucun réglage ne compensera les 8 Go manquants, et la carte suivante de la gamme est le bon investissement.

• Source : caractéristiques officielles NVIDIA (RTX 5060 et 5060 Ti)
• Source : GPU NVIDIA pris en charge par Ollama
• Source : FAQ officielle d'Ollama (Flash Attention, cache K/V)

#Questions fréquentes