Quel LLM sur RTX 4060 (8 Go) ?

Matériel conseillé

Alternative d’achat pour ce guide : RTX 5060 Ti 16 Go.

Comparer toutes les options par budget, de 800 à 3 500 € →

En mobilité : quel PC portable pour l'IA locale →

Liens affiliés — commission possible sans surcoût pour vous. En tant que Partenaire Amazon, QuelLLM réalise un bénéfice sur les achats remplissant les conditions requises.

#La RTX 4060 pour un LLM local : ce qu'elle permet

Sur une RTX 4060, un LLM local fonctionne bien tant que le modèle, son contexte et le système tiennent dans 8 Go de VRAM. En Q4, cela couvre les modèles de 3 à 9 milliards de paramètres : Qwen 3.5 4B pèse 3,4 Go, Granite 4.2 8B 5,3 Go et Qwen 3.5 9B 6,6 Go d'après la bibliothèque Ollama. Un 12B comme Gemma 4 12B (7,7 à 8 Go) occupe déjà toute la carte avant même de compter le contexte. La bande passante de 272 Go/s décide de la vitesse : elle fixe un plafond théorique d'environ 51 tokens/s sur un modèle de 5,3 Go, et la pratique reste en dessous. Pour un assistant de chat, du résumé ou un petit RAG, c'est suffisant. Pour du code sur un gros dépôt ou un raisonnement long, c'est court.

Architecture: Ada Lovelace, 3 072 cœurs CUDA, Tensor Cores de 4e génération, capacité de calcul CUDA 8.9.
Mémoire: 8 Go de GDDR6 sur un bus de 128 bits, soit 272 Go/s de bande passante (source : Wikipedia, tableau des GeForce série 40).
Consommation: 115 W de puissance graphique totale ; NVIDIA indique une alimentation de 550 W minimale pour l'ensemble du PC.
Interface: PCIe 4.0 limité à 8 lignes : un modèle qui déborde en RAM transite par un lien étroit, ce qui pénalise encore plus l'offload.
Disponibilité: Lancée en 2023, la carte se trouve surtout d'occasion ; les prix sont suivis sur la page dédiée.

Pourquoi la bande passante compte plus que les cœurs

En génération, chaque token oblige le GPU à relire l'essentiel des poids du modèle. La vitesse dépend donc du rapport entre la bande passante mémoire et la taille des poids, bien plus que du nombre de cœurs. Sur ce point la 4060 est la plus limitée de la gamme Ada grand public : 272 Go/s, contre 672 Go/s pour une 4070 Ti Super.

#Quels modèles tiennent dans 8 Go

Le repère du site en Q4 est simple : environ 0,6 Go par milliard de paramètres, poids seuls. Il faut y ajouter le cache de contexte (KV cache) et une marge pour l'affichage et le système. Ollama utilise par défaut un contexte de 4 096 tokens, ce qui reste léger ; à 16 000 tokens le cache devient un poste important. Le tableau ci-dessous reprend les tailles publiées par Ollama et indique la marge restante sur 8 Go, avant contexte.

Modèles courants sur 8 Go de VRAM (tailles Ollama, poids seuls)

Modèle	Taille Ollama	Marge sur 8 Go	Verdict
Qwen 3.5 4B	3,4 Go	4,6 Go	Confortable, contexte long possible
Granite 4.2 8B	5,3 Go	2,7 Go	Confortable jusqu'à environ 16 000 tokens avec cache quantifié
Qwen 3.5 9B	6,6 Go	1,4 Go	Serré : contexte court, applications fermées
Gemma 4 12B	7,7 à 8,0 Go	0 Go ou moins	Ne tient pas avec un contexte utile
gpt-oss 20B	14 Go	Négatif	Hors de portée en VRAM seule
Mistral Small 24B	14 Go	Négatif	Hors de portée en VRAM seule

Deux pièges reviennent souvent. Le premier : une taille de fichier n'est pas un besoin mémoire, le contexte s'ajoute. Le second : un modèle qui déborde ne plante pas, il se charge en partie en RAM système et ralentit fortement. La commande ollama ps affiche la répartition : une ligne à 100 % GPU est saine, une ligne CPU/GPU partagée signale un débordement.

#Installer Ollama et lancer un premier modèle

01
Vérifier le pilote NVIDIA
Ollama demande un pilote NVIDIA 550 ou plus récent pour les cartes de capacité de calcul 5.0 et au-delà. Une RTX 4060 (capacité 8.9) est explicitement listée dans la documentation d'Ollama. Contrôlez la version avec nvidia-smi.
02
Installer Ollama
Suivez le guide d'installation pour votre système. CUDA est embarqué, aucune installation séparée du toolkit n'est nécessaire.
03
Lancer un modèle adapté
Commencez par ollama run granite4.2:8b (5,3 Go) ou ollama run qwen3.5:9b (6,6 Go). Lancez ensuite ollama ps dans un second terminal.
04
Contrôler le placement
La colonne PROCESSOR doit afficher 100 % GPU. Sinon, réduisez le contexte ou passez à un modèle plus petit.

Dépanner Ollama : GPU non détecté, lenteurs, erreurs mémoire

#Quelle vitesse attendre : le plafond, pas la promesse

Il n'existe pas ici de mesure maison, et aucun chiffre de débit n'est présenté comme tel. On peut en revanche calculer un plafond : bande passante divisée par la taille des poids lus à chaque token. Un relevé tiers publié sur GitHub (LLaMA 3 8B en Q4_K_M sous llama.cpp, instantané de mai 2024) donne des rapports observé sur plafond de 68 % sur une RTX 4080 et de 75 % sur une RTX 4070 Ti. Ordre de grandeur raisonnable : 70 % du plafond. Ces valeurs restent des estimations, valables pour un contexte court.

Plafond théorique de génération sur RTX 4060 (272 Go/s)

Modèle (Q4)	Poids	Plafond théorique	Estimation à 70 %
Qwen 3.5 4B	3,4 Go	80 tokens/s	environ 56 tokens/s
Granite 4.2 8B	5,3 Go	51 tokens/s	environ 36 tokens/s
Qwen 3.5 9B	6,6 Go	41 tokens/s	environ 29 tokens/s

Ces estimations sont cohérentes avec l'usage d'un assistant de chat : la lecture est confortable dès 15 à 20 tokens/s. Elles ne tiennent pas compte du contexte, qui ralentit la génération à mesure qu'il grandit, ni du temps de traitement de l'invite, qui pèse sur le calcul et non sur la mémoire.

#Régler Ollama pour ne pas déborder des 8 Go

Les réglages qui comptent sont ceux du contexte et du cache. Ollama quantifie le cache K/V en q8_0 pour utiliser environ la moitié de la mémoire du f16, avec une perte de précision très faible selon sa documentation ; cela exige Flash Attention. Sur 8 Go, c'est le levier le plus rentable : il permet d'allonger le contexte sans changer de modèle.

Réglages du serveur Ollama (Linux, macOS)

export OLLAMA_FLASH_ATTENTION=1
export OLLAMA_KV_CACHE_TYPE=q8_0
export OLLAMA_CONTEXT_LENGTH=8192
ollama serve

Contexte raisonnable: Montez le contexte à 8 192 ou 16 384 tokens seulement si l'usage l'exige : chaque doublement du contexte double le cache K/V.
Un seul modèle chargé: Sur 8 Go, gardez un seul modèle en mémoire ; un modèle d'embeddings pour un RAG doit rester petit.
Libérer la VRAM: Le bureau, le navigateur et les jeux réservent de la VRAM. Fermez-les avant un chargement et vérifiez avec nvidia-smi.
Quantification: Restez en Q4_K_M : le Q8 d'un 8B (environ 8,5 Go) dépasse la carte.

Quantifier le KV cache pour gagner de la VRAM

#Ce que la 4060 fait bien, mal ou pas du tout

Le verdict dépend de l'usage plus que de la carte. Un chat court ou un résumé de quelques pages reste dans la zone de confort, sur un 4B comme sur un 8B. Un RAG demande un modèle de génération, un modèle d'embeddings et un contexte assez long pour contenir les extraits retrouvés : sur 8 Go, il faut choisir un modèle de génération de 4B à 8B et garder l'embedding petit. L'assistant de code est plus contraignant, car les modèles spécialisés et leurs contextes de plusieurs milliers de tokens dépassent vite la carte.

Usages courants sur RTX 4060 (8 Go)

Usage	Réaliste ?	Réglage conseillé
Chat quotidien, questions courtes	Oui	Granite 4.2 8B ou Qwen 3.5 4B, contexte par défaut
Résumé de documents de 10 à 20 pages	Oui, avec un contexte 8 192 à 16 384	Cache K/V en q8_0, Flash Attention active
RAG sur vos fichiers	Oui, modèle 4B à 8B	Embeddings légers, un seul modèle de génération chargé
Assistant de code sur un dépôt	Limité	Modèle de 4B à 8B, extraits courts, pas de dépôt entier
Modèle 20B ou plus, dont gpt-oss 20B	Non	Prévoir 16 Go de VRAM au minimum

Le cas de gpt-oss 20B illustre la frontière : Ollama indique 14 Go pour ce modèle, et sa fiche précise que la quantification MXFP4 permet de le faire tourner à partir de 16 Go de mémoire. Une carte de 8 Go n'est pas dans la cible, quel que soit son débit.

#Quand passer à une autre carte

Trois signaux indiquent que les 8 Go deviennent un frein. Vous voulez un modèle de 12B ou plus, dont Gemma 4 12B. Vous travaillez avec des documents longs, où le contexte dépasse 16 000 tokens. Vous utilisez un assistant de code qui charge un modèle de 14 à 24 Go. Dans ces cas, ajouter de la vitesse ne règle rien : c'est la capacité mémoire qui manque, et la page dédiée aux 8 Go, aux 12 Go et aux 16 Go vous aide à cibler le bon palier.

#4060, 3060 12 Go, 5060 : le bon compromis

Cartes d'entrée de gamme : capacité et bande passante

Carte	VRAM	Bande passante	Ce que cela change
RTX 3060 12 Go	12 Go	360 Go/s	Plus de VRAM : Gemma 4 12B tient, mais bus plus ancien
RTX 4060	8 Go	272 Go/s	Consommation faible, plafond 8B-9B
RTX 5060	8 Go	448 Go/s	Même capacité, plafond de vitesse 65 % supérieur

La RTX 3060 12 Go offre 4 Go de mémoire en plus pour une bande passante plus élevée (360 Go/s d'après Wikipedia). En occasion elle coûte en général moins cher : consultez /prix-gpu-ia pour l'état du marché. La RTX 5060 garde 8 Go mais lit la mémoire 65 % plus vite. Si votre usage tient dans 8 Go, la 5060 est la plus rapide ; s'il dépasse 8 Go, la 3060 12 Go ou la 4060 Ti 16 Go ouvrent des modèles que la 4060 ne peut pas charger.

#Verdict 2026

Gardez votre 4060 si: Vous utilisez des modèles de 3B à 9B, un chat ou un RAG léger. Rien ne justifie de la remplacer tant que la mémoire suffit.
N'achetez pas une 4060 pour le LLM: Si le LLM est l'usage principal, une carte de 12 Go ou plus est plus utile, quitte à privilégier l'occasion.
Passez à 16 Go: Si vous visez du 14B à 24B, pour lesquels 8 Go ne suffiront jamais.

Quel LLM pour 8 Go de VRAM

#Questions fréquentes

FAQ

La RTX 4060 peut-elle faire tourner un LLM en local ?+

Oui, jusqu'à environ 9 milliards de paramètres en Q4. Granite 4.2 8B (5,3 Go) et Qwen 3.5 9B (6,6 Go) tiennent en VRAM, avec un contexte court pour le second. Au-delà de 8 Go, Ollama déborde en RAM système et la génération ralentit fortement, ce qui rend les modèles de 12B et plus peu pratiques.

Combien de tokens par seconde sur une RTX 4060 ?+

Aucune mesure fiable n'est publiée ici. Le plafond théorique, bande passante divisée par poids, est d'environ 51 tokens/s pour un modèle de 5,3 Go, soit près de 36 tokens/s à 70 % de ce plafond. C'est une estimation, pas un résultat mesuré, et elle baisse quand le contexte s'allonge.

RTX 4060 ou RTX 3060 12 Go pour un LLM ?+

Pour le LLM, la 3060 12 Go est en général plus intéressante : 4 Go de mémoire en plus et une bande passante de 360 Go/s contre 272 Go/s. Elle charge Gemma 4 12B, que la 4060 ne peut pas loger. La 4060 garde l'avantage sur la consommation, 115 W, et le jeu.

Quelle alimentation faut-il pour une RTX 4060 ?+

NVIDIA indique 115 W de puissance graphique totale et 550 W d'alimentation minimale recommandée pour le PC entier. Ce chiffre inclut une marge pour le processeur et les pics de consommation. Une alimentation de qualité de cette puissance suffit, le LLM sollicitant la carte moins que certains jeux.

Comment savoir si mon modèle tient dans la VRAM ?+

Lancez le modèle puis exécutez ollama ps dans un second terminal : la colonne PROCESSOR affiche 100 % GPU si tout est en VRAM, ou une répartition CPU/GPU en cas de débordement. Surveillez aussi nvidia-smi pendant une longue génération. En cas de débordement, réduisez le contexte ou choisissez un modèle plus petit.

Peut-on améliorer les 8 Go sans changer de carte ?+

Trois leviers agissent : activer Flash Attention puis le cache K/V en q8_0, qui réduit ce cache d'environ moitié ; limiter le contexte à ce que vous utilisez ; fermer les applications qui occupent de la VRAM. Ils permettent d'allonger le contexte, pas de charger un modèle plus gros.

Ce guide vous a aidé ?

Un retour, une erreur, une précision ? Faites-nous signe, ça améliore le guide pour tout le monde.

Les kits QuelLLMLe guide de référence par usage

Copilote Local IA Locale Agents Locaux RAG Local IA en Entreprise IA Sans Filtre Mac Images IA Réseaux Sociaux

Tous les kits à vie — 49 €

Suite logique

Matériel · 14 min