Quel LLM sur GTX 1070 / 1080 (8 Go) ?

#GTX 1070, 1070 Ti, 1080 : ce qui les distingue pour un LLM

Pour un LLM, ces trois cartes ont la même capacité, 8 Go, et se distinguent par la bande passante mémoire, qui fixe la vitesse de génération. La 1070 et la 1070 Ti utilisent de la GDDR5 sur 256 bits, soit 256 Go/s ; la 1080 monte à 320 Go/s avec de la GDDR5X. Comme un LLM relit tous ses poids à chaque token, cette différence de 25 % se traduit presque directement en vitesse, bien plus que les 2 560 cœurs de la 1080 face aux 1 920 de la 1070. Aucune n'a de Tensor Cores : Pascal reste sur le calcul CUDA classique.

Une GTX 1080 Ti, avec 11 Go et 484 Go/s, appartient à une autre catégorie : elle a sa propre page. Si votre carte est une 1080 Ti, lisez plutôt le guide qui lui est consacré.

• Quel LLM sur GTX 1080 Ti (11 Go)

#Ce que 8 Go permettent vraiment

Le critère qui compte est le rapport entre les poids et la mémoire disponible, puisque le cache KV s'y ajoute. Le repère du site place un 7-8B en Q4 autour de 5 Go de poids : sur 8 Go, il reste environ 3 Go pour le contexte et le système, une marge réelle. Un 9B en Q4, à 6 Go, laisse 2 Go : c'est possible avec un contexte court. À 12 milliards de paramètres, les poids atteignent 7 Go : il ne reste presque rien.

Un plafond théorique n'est jamais atteint. Dans le banc public, la GTX 1070 Ti atteint 37,82 tokens/s sur un modèle de 3,56 Gio, soit environ 56 % de son plafond de 256 Go/s. En appliquant ce même rendement aux modèles ci-dessus, un Granite 4.2 8B tournerait autour de 30 tokens/s sur une 1070 Ti : c'est une extrapolation proportionnelle, pas une mesure.

#Ce que disent les benchmarks publics

QuelLLM ne teste pas ces cartes. Les chiffres viennent de la discussion « Performance of llama.cpp on Nvidia CUDA » du dépôt llama.cpp, où chaque contributeur lance llama-bench sur Llama 2 7B en Q4_0 avec toutes les couches sur le GPU. La GTX 1070 Ti y affiche 714,44 tokens/s en traitement du prompt et 37,82 tokens/s en génération.

Pour les cartes de la même page qui ont une mesure, la comparaison est utile : la RTX 2060 Super, une carte Turing de 8 Go à 256 bits, produit 60,04 tokens/s sur le même test, contre 37,82 pour la 1070 Ti. À bande passante mémoire voisine, le gain est de 59 %. Le banc explique donc l'écart mieux que les cœurs ou le prix : Turing exploite mieux sa mémoire.

Ces chiffres se lisent avec trois précautions. Chaque ligne du banc est une contribution individuelle : pilote, système, refroidissement et fabricant de la carte varient d'un contributeur à l'autre, ce qui explique quelques points d'écart pour une même puce. Le modèle de test, un Llama 2 7B, est plus ancien et plus petit que les modèles actuels : il sert d'étalon commun, pas de prédiction pour un modèle précis. Enfin, la génération dépend surtout de la mémoire, alors que la lecture du prompt dépend de la puissance de calcul : les deux colonnes ne racontent pas la même chose.

#Estimer la GTX 1080 sans mesure : méthode et limites

La 1080 n'apparaît pas dans le banc. Pour s'en faire une idée, on peut appliquer le rapport des bandes passantes : 320 ÷ 256 = 1,25, soit environ 47 tokens/s (37,82 × 1,25) si le rendement reste identique à celui de la 1070 Ti. C'est une hypothèse plausible, pas un résultat : les pilotes, la version de llama.cpp, la température ou le refroidissement de la carte font varier les débits de façon sensible.

Si vous achetez une carte d'occasion pour cet usage, demandez au vendeur une capture d'un test réel, ou lancez vous-même llama-bench sur le modèle du banc dès la réception : le résultat se compare directement à la table publique.

#Le contexte : où passent les 3 Go de marge

Sur 8 Go, un Granite 4.2 8B en Q4 laisse environ 3,4 Go. Cette réserve se partage entre le cache KV, qui croît avec chaque token de la conversation, les tampons de calcul et l'espace pris par le pilote et l'affichage si la carte pilote aussi votre écran. Ollama démarre avec une fenêtre de 4 096 tokens, modifiable par la variable OLLAMA_CONTEXT_LENGTH ; doubler la fenêtre double le cache KV.

Une règle de décision simple : si vous voulez travailler sur des documents longs (16 000 tokens et plus), prenez un modèle de 3 à 4 milliards de paramètres, ou un 8B avec un cache KV quantifié. Si vous discutez en messages courts, le 8B en Q4 est le bon choix. Dans les deux cas, vérifiez avec ollama ps que le modèle est chargé à 100 % sur le GPU : un partage avec le processeur signale que la marge est épuisée.

• Quantifier le KV cache pour gagner de la VRAM
• Comprendre la fenêtre de contexte

#Flash Attention sur Pascal : utile ou non ?

Une idée reçue veut que Flash Attention soit réservé aux cartes à Tensor Cores. Le banc llama.cpp la dément : il exécute chaque carte avec et sans Flash Attention, et la GTX 1080 Ti, de génération Pascal, figure dans les deux tableaux. Avec Flash Attention, elle passe de 1 084,41 à 1 138,14 tokens/s en traitement du prompt, soit environ 5 % de mieux, et de 62,49 à 61,38 tokens/s en génération, soit 2 % de moins. Le gain principal de Flash Attention n'est pas la vitesse mais la mémoire : elle réduit l'empreinte du contexte, ce qui compte sur 8 Go.

Ollama active Flash Attention automatiquement quand le moteur et la carte la prennent en charge ; la variable OLLAMA_FLASH_ATTENTION=1 la force, et la valeur 0 la désactive. La quantification du cache KV, qui réduit encore la mémoire du contexte, exige que Flash Attention soit activée.

OLLAMA_FLASH_ATTENTION=1 ollama serve

#Quel usage pour une 8 Go Pascal ?

#Pascal : le support logiciel, la vraie limite

Le principal risque ne vient pas de la vitesse mais du logiciel. Ollama exige un pilote NVIDIA 570 ou plus récent pour les cartes de compute capability 5.0 à 6.2, et les GTX 1070 à 1080 y figurent. Mais les notes de version de CUDA 13 indiquent que Pascal est retiré, et Wikipédia rappelle que NVIDIA a cessé le support Game Ready de cette génération en décembre 2025, avec des mises à jour de sécurité jusqu'en octobre 2028.

Aujourd'hui

Ollama et llama.cpp fonctionnent avec un pilote 570 ou plus et des builds CUDA 12.

Demain

Les nouvelles fonctions et les nouveaux moteurs cibleront CUDA 13 : chaque mise à jour peut retirer Pascal.

Sécurité

Des correctifs de sécurité du pilote existent jusqu'en octobre 2028, mais pas d'optimisations nouvelles.

#Vaut-il mieux une 1070 Ti ou autre chose ?

Pour un même budget d'occasion, la comparaison se fait sur trois critères : la mémoire (8 Go minimum), la génération d'architecture (Turing ou plus récente pour bénéficier de CUDA 13) et la bande passante. Sans citer de prix, qui changent chaque semaine, voici comment se placent les options.

• Quel LLM sur RTX 2060 / 2060 Super
• Quel LLM sur RTX 3060 12 Go
• Quels modèles pour 8 Go de VRAM, toutes cartes
• Comparer les prix des GPU pour l'IA

#Verdict : découvrir oui, investir non

Si vous avez déjà une GTX 1070, 1070 Ti ou 1080, elle est une excellente porte d'entrée : 8 Go suffisent pour un 8B en Q4, et le débit reste confortable pour du chat. Si vous cherchez à acheter, privilégiez une carte de 8 Go d'architecture Turing ou plus récente : à mémoire égale, les débits sont nettement meilleurs et le support logiciel plus long.

Un dernier critère pratique : la consommation. Ces cartes sont des modèles de 150 à 180 W en jeu ; en inférence, elles chauffent moins qu'en jeu, mais un boîtier mal ventilé peut faire baisser les débits. Vérifiez les températures pendant une longue génération avant de conclure que la carte est lente.

• Source : benchmark public llama.cpp sur CUDA
• Source : documentation Ollama, matériel NVIDIA pris en charge
• Source : GeForce 10 series, caractéristiques
• Source : notes de version du CUDA Toolkit