Quel LLM sur RTX 4060 Ti (8 / 16 Go) ?

#RTX 4060 Ti pour un LLM local : 8 Go ou 16 Go

Pour un LLM local, prenez la RTX 4060 Ti 16 Go et laissez de côté la 8 Go. Les deux versions utilisent la même puce, 4 352 cœurs CUDA d'après NVIDIA, et la même mémoire à 288 Go/s : seule la capacité change. Cette capacité décide de ce qui se charge. Avec 8 Go, on reste sur des modèles de 4B à 9B, comme Granite 4.2 8B ou Qwen 3.5 9B. Avec 16 Go, Gemma 4 12B tient avec une vraie marge pour le contexte, et gpt-oss 20B ainsi que Mistral Small 24B, chacun à 14 Go, entrent en VRAM avec une marge étroite. La vitesse, elle, ne change pas d'une version à l'autre : elle est bridée par le bus de 128 bits. Le prix d'occasion de la 16 Go se compare donc à celui d'une RTX 3060 12 Go ou d'une RTX 5060 Ti 16 Go neuve.

Architecture

Ada Lovelace, 4 352 cœurs CUDA sur les deux versions (page produit NVIDIA).

Mémoire

8 Go ou 16 Go de GDDR6, bus de 128 bits, bande passante de 288 Go/s.

Puissance

160 W en 8 Go et 165 W en 16 Go d'après Wikipedia ; NVIDIA indique 550 W d'alimentation minimale pour le PC.

Prix de lancement

499 dollars pour la version 16 Go, sortie en juillet 2023 (source : Wikipedia).

Interface

PCIe 4.0 limité à 8 lignes, comme la RTX 4060.

#8 Go ou 16 Go : ce que chaque version charge

La lecture du tableau tient en une règle : sur 16 Go, gardez au moins 2 Go de marge pour le cache de contexte et le système. C'est confortable avec Gemma 4 12B, court avec gpt-oss 20B et Mistral Small 24B, impossible avec un modèle de 17 Go. Ollama utilise par défaut un contexte de 4 096 tokens ; au-delà, le cache K/V consomme cette marge, d'où l'intérêt de le quantifier.

#Quel modèle choisir sur la version 16 Go

Gemma 4 12B

Le choix polyvalent : poids de 7,7 à 8,0 Go et contexte de 256 000 tokens annoncé dans la bibliothèque Ollama. Vous pouvez allonger le contexte à 16 000 tokens ou plus sans déborder.

gpt-oss 20B

Modèle de raisonnement, 14 Go. Utilisable en VRAM avec un contexte modéré. Voir le guide dédié pour l'installation.

Mistral Small 24B

14 Go pour un modèle dense de 24 milliards de paramètres : il lit plus de poids par token, donc il est le plus lent des trois sur une carte à 288 Go/s.

Qwen 3.5 9B

6,6 Go, le modèle de repli quand vous voulez un long contexte ou plusieurs modèles chargés.

• gpt-oss en local avec Ollama
• Quel LLM pour 16 Go de VRAM

#Installer et vérifier que tout est en VRAM

ollama run gemma4:12b
ollama run gpt-oss:20b
ollama run mistral-small
ollama ps

Après chaque chargement, ollama ps doit afficher 100 % GPU. Une répartition entre CPU et GPU signale un débordement en RAM, qui ralentit fortement la génération sur cette carte dont le lien PCIe est limité à 8 lignes. Sur la version 8 Go, tenter gemma4:12b ou gpt-oss:20b produit exactement ce cas.

#Quelle vitesse attendre : plafonds et relevés tiers

Aucun débit n'est présenté ici comme une mesure maison. Le plafond théorique de génération est la bande passante divisée par la taille des poids. Un relevé tiers public (LLaMA 3 8B en Q4_K_M sous llama.cpp, mai 2024) observe 68 % du plafond sur une RTX 4080 et 75 % sur une RTX 4070 Ti, soit un ordre de grandeur de 70 %. Sur 288 Go/s, cela donne les estimations suivantes, pour un contexte court.

Ces chiffres suivent la logique inverse de la capacité : plus le modèle est gros, plus le bus pèse. Un modèle à experts multiples comme gpt-oss 20B ne lit que ses experts actifs à chaque token, son débit réel dépasse donc celui d'un modèle dense de même taille ; aucune valeur mesurée fiable n'est reprise ici. Pour un chat, 14 tokens/s restent lisibles ; pour du code avec de longues sorties, c'est court.

#Gérer le contexte sur 16 Go

La marge de 2 Go de gpt-oss 20B ou de Mistral Small 24B fond avec le contexte. Ollama sait quantifier le cache K/V en q8_0, ce qui utilise environ la moitié de la mémoire du f16 par défaut ; cela suppose Flash Attention active. Sur 16 Go, ce réglage transforme un modèle de 14 Go à contexte court en modèle utilisable à 8 000 tokens ou plus. Il se règle au démarrage du serveur.

export OLLAMA_FLASH_ATTENTION=1
export OLLAMA_KV_CACHE_TYPE=q8_0
ollama serve

• Quantifier le KV cache pour gagner de la VRAM

#4060 Ti 16 Go, 3060 12 Go ou 5060 Ti 16 Go

Le choix se fait sur deux axes. Si le modèle visé pèse 14 Go, seule une carte de 16 Go convient, et la 5060 Ti 16 Go lit sa mémoire 55 % plus vite que la 4060 Ti, avec une garantie neuve. Si le modèle visé tient dans 12 Go, une RTX 3060 12 Go d'occasion est plus rapide pour moins cher en général. La 4060 Ti 16 Go n'est le bon choix que si son prix d'occasion est nettement sous celui d'une 5060 Ti neuve : vérifiez-le sur la page de suivi des prix.

• Quel LLM sur RTX 5060 Ti
• Quel LLM sur RTX 3060 12 Go
• Prix des cartes graphiques pour l'IA locale

#Ce que 16 Go ne suffit pas à charger

Seize gigaoctets marquent une frontière nette. Les modèles de 14 Go entrent, ceux de 16 Go et plus n'entrent pas, même quantifiés en Q4, puisqu'il faut encore loger le contexte. Le tableau donne les tailles publiées par Ollama pour les modèles qui se situent juste au-dessus du seuil.

Un modèle qui déborde continue de répondre, mais une partie des poids est lue depuis la RAM système à travers un lien PCIe 4.0 limité à 8 lignes sur cette carte. La génération devient nettement plus lente qu'avec un modèle qui tient. Si ces modèles sont votre objectif, ou si vous comptez garder la carte plusieurs années alors que les modèles grossissent, la bonne décision est de viser 24 Go dès l'achat, pas d'optimiser une 16 Go.

Le bus étroit n'est pas le seul critère. Le traitement de l'invite, c'est-à-dire la lecture de votre question ou de vos documents avant la première réponse, sollicite surtout le calcul, et non la mémoire. Sur ce point, la 4060 Ti profite de ses 4 352 cœurs CUDA, contre 3 072 pour la RTX 4060. Un long document se lit donc relativement vite (écart non mesuré ici), même si la génération qui suit reste plafonnée par les 288 Go/s. Cette distinction explique qu'une carte paraisse réactive au premier mot puis lente en flux continu.

#Acheter ou attendre : trois questions à se poser

Quel est le plus gros modèle utile ?

Si c'est un 14B à 24B en Q4, la 16 Go est la bonne capacité. Si un 8B à 9B suffit, une carte de 8 Go convient déjà, et la version 16 Go n'est alors qu'un surcoût.

La vitesse compte-t-elle ?

Pour un chat à usage personnel, 15 à 30 tokens/s suffisent. Pour des agents qui enchaînent de longues sorties, la bande passante de 288 Go/s devient le facteur limitant et la 5060 Ti 16 Go s'impose.

Neuf ou occasion ?

L'occasion évite le prix du neuf mais n'a plus de garantie ; une carte de 2023 peut avoir servi au minage ou au jeu intensif. Contrôlez les températures et le bruit des ventilateurs avant l'achat.

#Verdict 2026

Prenez la 16 Go si

Le prix d'occasion est bas et que vous visez du 12B à 24B. Vous acceptez un débit limité par le bus.

Évitez la 8 Go pour le LLM

Elle ne charge rien de plus qu'une RTX 4060 ou qu'une RTX 5060, qui ont la même capacité.

Préférez la 5060 Ti 16 Go

Si vous achetez neuf, pour la garantie et la bande passante supérieure.

• Source : caractéristiques officielles NVIDIA (RTX 4060 Ti)
• Source : tailles de Gemma 4 dans la bibliothèque Ollama
• Source : FAQ officielle d'Ollama (Flash Attention, cache K/V)

#Questions fréquentes