Quel LLM sur RTX 3060 Ti (8 Go) ?

#RTX 3060 Ti vs RTX 3060 : le résumé pour l'IA locale

La RTX 3060 Ti est plus rapide que la 3060 12 Go pour générer du texte, mais elle a 4 Go de moins, et pour l'IA locale c'est la capacité qui limite. Le tableau collaboratif de llama.cpp donne 92,2 tokens par seconde pour la 3060 Ti, contre 75,6 pour la 3060 12 Go, sur un modèle de 7 milliards en Q4_0 : environ 22 % de plus. Cet avantage tient à son bus de 256 bits, qui donne 448 Go/s de bande passante contre 360 Go/s. En revanche, avec 8 Go elle fait tourner les modèles de 7 à 9 milliards (Granite 4.2 8B à 4,6 Go, Qwen 3.5 9B à 6 Go) mais pas Gemma 4 12B (7 Go de poids), qui ne laisse aucune marge pour le contexte. Si votre cible est un 8B, la Ti est la plus rapide des deux ; si vous visez un 12B, elle est hors jeu.

RTX 3060 Ti

Puce GA104, décembre 2020, 4 864 cœurs CUDA, 8 Go de GDDR6, bus de 256 bits, 448 Go/s.

RTX 3060

Puce GA106, 3 584 cœurs, 12 Go de GDDR6 sur bus de 192 bits, 360 Go/s.

Pour un LLM

Plus de bande passante donne plus de vitesse ; moins de mémoire donne moins de modèles. Les deux effets se compensent, mais la capacité pèse plus lourd.

#Modèles compatibles avec 8 Go

Le débit de génération de la carte n'est pas ce qui vous limitera : c'est la place. Le test de llama.cpp voit 7 838 MiB de mémoire sur la 3060 Ti, un peu moins que les 8 192 MiB nominaux, et ce budget se partage entre les poids, le cache de contexte et l'affichage si un écran est branché. Comptez au plus 6 Go de poids pour garder un contexte de plusieurs milliers de tokens.

• Quel LLM pour 8 Go de VRAM ? (toutes cartes)
• Calculateur de VRAM pour un modèle et un contexte donnés

#Installation et réglages

La carte est de capacité de calcul 8.6 dans la liste d'Ollama, qui demande un pilote 550 ou plus récent. Pour l'alimentation, la fiche NVIDIA annonce 200 W pour la carte et conseille une alimentation système de 600 W, contre 550 W pour la 3060 : une alimentation de 500 W, parfois citée, est en dessous de cette recommandation.

1. 01
   Installer le pilote

   Installez un pilote NVIDIA 550 ou plus récent et contrôlez avec nvidia-smi que la carte est reconnue avec environ 8 Go de mémoire.
2. 02
   Installer Ollama

   Suivez le guide d'installation, puis lancez un modèle de 8 milliards en Q4 avec ollama run.
3. 03
   Activer les réglages mémoire

   Démarrez le serveur avec OLLAMA_FLASH_ATTENTION=1 et OLLAMA_KV_CACHE_TYPE=q8_0. La documentation précise que le cache K/V peut être quantifié quand Flash Attention est activée.
4. 04
   Surveiller la mémoire

   Pendant une longue conversation, regardez nvidia-smi : si la mémoire approche des 7 800 MiB, réduisez le contexte.

OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve

• Comment installer Ollama
• Quantifier le KV cache : gagner de la VRAM (long contexte)

#Vitesse : génération, lecture du prompt et Flash Attention

Une mesure de septembre 2026 publiée sur le tableau de llama.cpp permet de détailler le comportement de la 3060 Ti, avec un modèle de 7 milliards en Q4_0 de 3,56 GiB. La bande passante de 448 Go/s permettrait environ 117 tokens par seconde au maximum ; la mesure atteint 92 tokens, soit environ 79 % du plafond. Le résultat le plus intéressant concerne Flash Attention.

La génération gagne peu, mais la lecture d'un long prompt progresse de plus d'un tiers, ce qui compte pour le RAG et les résumés de documents. À ce rythme, un prompt de 10 000 tokens est lu en quatre secondes environ, un calcul théorique qui suppose un débit constant. Ollama active Flash Attention automatiquement quand la carte le permet ; vous pouvez la forcer avec la variable OLLAMA_FLASH_ATTENTION=1.

Pour un modèle plus lourd que le fichier de test, la règle de trois donne des ordres de grandeur : 92 × 3,82 ÷ 4,6, soit environ 76 tokens par seconde, pour Granite 4.2 8B en Q4, et environ 59 pour Qwen 3.5 9B (6 Go). Ce sont des bornes hautes théoriques, pas des mesures. Si vous voulez comparer votre propre carte à ces valeurs, l'outil llama-bench de llama.cpp reproduit le test : même fichier Llama 2 7B en Q4_0, tous les calques placés sur le GPU, avec et sans Flash Attention. Les résultats varient selon le pilote, le système et le fabricant de la carte, même à puce identique, un écart de quelques pour cent n'a donc rien d'anormal. Ces vitesses dépassent le rythme de lecture : la carte n'est jamais le facteur limitant en discussion.

#Documents et RAG : où passe le temps

Quand on interroge ses documents, la carte passe d'abord du temps à lire le prompt, puis à générer la réponse. Sur la 3060 Ti, un prompt de 4 096 tokens, soit une dizaine de pages, est lu en environ 2,2 secondes sans Flash Attention et 1,6 seconde avec, d'après les vitesses mesurées par llama.cpp. La réponse de 400 tokens demande ensuite de l'ordre de quatre à cinq secondes à 92 tokens par seconde sur le modèle de test, davantage sur un 8B actuel. Ce sont des calculs théoriques qui supposent des débits constants, mais ils montrent que l'attente reste de quelques secondes.

La limite du RAG sur 8 Go n'est donc pas le temps, c'est la mémoire : un contexte de plusieurs dizaines de milliers de tokens sature le cache de contexte d'un modèle de 8 milliards. Deux moyens de rester dans le budget : réduire le nombre d'extraits injectés dans le prompt, et quantifier le cache K/V en q8_0, qui utilise environ la moitié de la mémoire du format par défaut selon la documentation d'Ollama.

#Quand passer à autre chose

Lisez ce tableau de haut en bas : la 3060 Ti couvre les deux premières lignes, et les trois suivantes exigent plus de mémoire. Si vos besoins se situent dans la moitié basse, changer de carte est justifié ; sinon, la 3060 Ti fait le travail. Un modèle plus qualitatif mais plus gros vaut parfois mieux qu'une carte plus rapide : à 92 tokens par seconde, vous n'êtes pas limité par la vitesse.

#3060 Ti et 3060 12 Go : le faux jumeau

Le premier réflexe est de choisir la plus rapide. Or, sur les modèles de 8 à 9 milliards que les deux cartes savent charger, la vitesse supplémentaire de 22 % ne change pas l'expérience : dans les deux cas, le texte s'affiche plus vite qu'on ne le lit. En revanche, la 3060 12 Go ouvre une catégorie entière de modèles. Elle est donc le meilleur choix pour l'IA locale, sauf si votre usage se limite définitivement aux 8 à 9B. Une précaution à l'achat : NVIDIA a aussi commercialisé une 3060 Ti à mémoire GDDR6X, distinguée par sa fiche ; la capacité de 8 Go reste la même.

• Quel LLM sur RTX 3060 12 Go ?
• Prix des cartes graphiques pour l'IA locale (suivi hebdomadaire)

#3060 Ti et RTX 4060 Ti 8 Go

La RTX 4060 Ti de 8 Go, plus récente, mesure 63,9 tokens par seconde sur le même test, soit nettement moins que la 3060 Ti. La raison est son bus de 128 bits, qui limite sa bande passante malgré une architecture plus efficace. Pour la génération de texte, la 3060 Ti reste donc plus rapide que cette carte plus récente, à capacité égale. Ses atouts sont ailleurs : les fonctions plus récentes de son architecture et, selon les fiches des constructeurs, une consommation plus modérée, utile dans un boîtier compact ou sur une machine qui reste allumée pour servir un modèle. Ce n'est en revanche pas un gain de vitesse en génération de texte, et ce n'est pas non plus un gain de mémoire. Si vous hésitez entre les deux, regardez la variante à 16 Go de la 4060 Ti, qui offre le double de mémoire.

• Quel LLM sur RTX 4060 Ti (8 / 16 Go) ?

#Verdict 2026

Gardez-la si

Elle fonctionne et vous utilisez des modèles de 7 à 9 milliards : vitesse largement suffisante, aucun gain à attendre d'un changement à capacité égale.

N'achetez pas pour l'IA si un 12 Go est accessible

Une 3060 12 Go ouvre les modèles de 12 milliards. L'écart de prix d'occasion varie chaque semaine : consultez le suivi du site.

Passez à 12 ou 16 Go si

Vous voulez un 12B, un contexte long ou du RAG sur des documents volumineux.

#Questions fréquentes

• Source : tableau de performances llama.cpp sur CUDA
• Source : fiche NVIDIA de la RTX 3060 et 3060 Ti
• Source : cartes NVIDIA prises en charge par Ollama
• Source : FAQ Ollama (Flash Attention, cache K/V)