Question 1

RTX 4060 Ti 8 Go ou 16 Go pour LLM ?

Accepted Answer

16 Go absolument. Les 100 € d'écart ouvrent Phi-4 14B, Qwen 14B, Mistral Small 24B — soit tout le milieu de gamme actuel. Sans 16 Go, la carte est sous-exploitée pour LLM.

Question 2

La RTX 4060 Ti 16 Go est-elle lente pour LLM ?

Accepted Answer

Oui, relativement. 288 Go/s de bande passante = 30-40 % plus lent qu'une 5060 Ti (448 Go/s) à modèle égal. Mais pour 80 € de moins en occasion, et les mêmes 16 Go, c'est rationnel.

Question 3

RTX 4060 Ti 16 Go ou RTX 3060 12 Go pour LLM ?

Accepted Answer

Dépend du budget. 3060 12 Go (250 €) : moins chère, 12 Go suffisants pour 14B Q4. 4060 Ti 16 Go (420 €) : +4 Go VRAM → Mistral Small 24B accessible, +15-20 % vitesse. Si budget le permet, 4060 Ti 16 Go gagne.

Question 4

Combien de tokens/sec pour Mistral 7B sur RTX 4060 Ti ?

Accepted Answer

Entre 44 et 52 tokens/seconde en Q4_K_M. Identique sur les deux variantes (8 et 16 Go) car la bande passante est identique.

Question 5

Peut-on faire tourner DeepSeek-R1-Distill 14B sur RTX 4060 Ti ?

Accepted Answer

Oui, uniquement sur la 16 Go. Q4_K_M (9 Go) à ~26 tok/s. Confortable pour du raisonnement asynchrone.

Question 6

Alim 500 W suffit pour RTX 4060 Ti ?

Accepted Answer

TDP 160 W GPU + 100 W CPU + 40 W système = 300 W nominal. Une 500 W qualité suffit largement.

Question 7

La RTX 4060 Ti supporte-t-elle Flash Attention ?

Accepted Answer

Oui, FA2 actif. Gain ~10 % sur contextes longs. Le bottleneck reste la bande passante mémoire.