Choisir son GPU pour l'IA locale

Réponse directe

Pour un LLM local, le critère n°1 est la VRAM (pas la puissance brute gaming), puis les tokens/seconde, puis la consommation. Une RTX 3090 d'occasion (24 Go VRAM) peut surpasser une RTX 4070 neuve pour l'IA locale grâce à sa mémoire supérieure, malgré une architecture plus ancienne.

Le GPU est la pièce qui change le plus votre expérience d'IA locale. Mais vous ne cherchez pas le même GPU qu'un gamer : ce qui compte pour un LLM, c'est la VRAM, puis les tokens/seconde, puis la conso. Ce guide démêle les offres 2026 (NVIDIA, AMD, Apple Silicon, Intel Arc), donne des configs réelles par budget, et dit pourquoi une RTX 3090 d'occasion peut battre une 4070 neuve.

Par Mohamed Meguedmi·Màj 2026-04-17·Testé sur Windows, macOS, Linux

#La VRAM, reine absolue

Un LLM doit tenir en VRAM pour tourner à pleine vitesse. Dès qu'il déborde sur la RAM système, la vitesse s'effondre d'un facteur 10. La taille des modèles que vous pourrez faire tourner est donc dictée par la VRAM, PAS par la puissance brute du GPU.

8 Go: Mistral 7B en Q4. Usage confortable en 7B, limité pour le contexte long. Entrée de gamme.
12 Go: 7B en Q5/Q8 confortable, 13B en Q4 qui passe. Sweet spot rapport qualité/prix.
16 Go: 13B confortable, 32B en Q3/Q4 qui passe. Très bon compromis.
24 Go: 32B en Q4/Q5, Qwen2.5-Coder 32B qui passe confortablement, 70B en Q2/Q3.
48 Go +: 70B en Q4 confortable, fine-tuning LoRA possible, multi-modèles en parallèle.

→

Règle d'or

À budget égal, prenez toujours le GPU avec le plus de VRAM, même si les tokens/sec bruts sont légèrement inférieurs. Une 3090 24 Go d'occasion bat une 4070 12 Go neuve pour les LLM, malgré le gap d'une génération.

#Déterminer ses besoins

Chat occasionnel, tâches simples: Mistral 7B Q4 = 8 Go VRAM suffisent. RTX 4060 Ti 16 Go, RTX 3060 12 Go, Arc A770 16 Go.
Dev (autocomplete + chat): Qwen2.5-Coder 7B pour l'autocomplete + 14B pour le chat en tandem. 16-20 Go recommandés.
RAG pro, documents longs: Contexte 32k+ qui mange 4-6 Go de VRAM en plus. Visez 16 Go minimum.
Fine-tuning, expérimentation: 24 Go (RTX 3090/4090) minimum. Pour un vrai full fine-tune d'un 7B, visez 48 Go (A6000, RTX 6000 Ada).
Servir une équipe de 10 personnes: RTX 4090 ou A6000 en solo, ou 2× RTX 4090 en tensor parallel pour un 70B.

#NVIDIA — les options 2026

RTX 3060 12 Go (~250 €): Le budget. CUDA, 12 Go VRAM, perfs corrects pour 7B et 13B en Q4. Entrée de gamme recommandée.
RTX 4060 Ti 16 Go (~450 €): Parfaite pour LLM : 16 Go de VRAM, faible conso (160 W). Moins puissante qu'une 3090 en pure perf mais plus économe.
RTX 4070 Super 12 Go (~600 €): Excellente en compute, mais les 12 Go limitent. Bien si vous gamez aussi.
RTX 3090 24 Go (~700 € occas.): ⭐ Le meilleur rapport VRAM/€ du marché. 2 ans d'existence mais les 24 Go font des miracles. Conso élevée (350 W).
RTX 4090 24 Go (~1800 € neuf): Le meilleur GPU grand public 2023-2025. Perf + 24 Go. Stock en 2026 rare, priorité RTX 5090.
RTX 5080 16 Go / 5090 32 Go (~1000 / 2500 €): Génération 2025. 5090 = 32 Go VRAM, le rêve des utilisateurs LLM.
RTX A6000 48 Go (pro, ~4500 €): 48 Go de VRAM pour des 70B en Q6, ou fine-tuning d'un 13B. Pour pros qui amortissent.

#AMD — rattrapage ROCm

RX 7600 XT 16 Go (~350 €): Entrée de gamme AMD. 16 Go VRAM pour le prix d'une 3060. ROCm officiel.
RX 7800 XT 16 Go (~550 €): Équivalent 4070 en perf, ROCm stable, excellent rapport perfs/prix.
RX 7900 XTX 24 Go (~900 €): 24 Go pour beaucoup moins qu'une 3090 occasion. Pour qui accepte la complexité ROCm.
RX 9070 XT 16 Go (~650 €): Nouvelle génération RDNA 4 (2025). Encore à évaluer côté ROCm.

ROCm : toujours moins fluide que CUDA

En 2026, ROCm marche pour l'inférence LLM mais reste moins universel que CUDA. Des cas edge (quantizations exotiques, backends récents) ne marchent pas. Budget patience requis.

#Apple Silicon — cas à part

Les Mac M-series n'ont pas de GPU dédié mais une mémoire unifiée : la RAM totale est accessible au GPU. Un Mac 64 Go peut allouer 48 Go à un LLM — de quoi faire tourner un 70B.

Mac Mini M4 16 Go (~800 €): Minimum utilisable. Un 7B tourne bien. Consommation ridicule (20 W en inférence).
Mac Mini M4 Pro 48 Go (~2200 €): Excellent rapport qualité/prix pour LLM. 36 Go alloués au GPU, tient un 32B Q6 confortablement.
MacBook Pro M4 Max 64 Go (~4000 €): Portable + LLM 70B Q4. Équivalent ergonomique d'un desktop RTX 4090 + mobilité.
Mac Studio M4 Ultra 128 Go (~6000 €): Le top. 96 Go dispo pour LLM. Peut tourner Llama 3.1 70B en Q8 ou un 123B en Q4.

→

Mac = workstation LLM complète

Un Mac Studio Ultra tire moins de courant qu'un PC gaming et ne fait pas de bruit. Pour un cabinet ou un home office, c'est un paquet cohérent — là où un build PC 4090 demande boîtier, alim 1000W, refroidissement.

#Intel Arc — outsider à l'arrache

Arc A770 16 Go (~300 €): 16 Go de VRAM pour 300 €. Perf brute en dessous des NVIDIA/AMD équivalents mais rapport VRAM/€ imbattable.
Arc B580 12 Go (~350 €): Nouvelle génération Battlemage. Perfs bien améliorées. Prometteur.

Via Vulkan

llama.cpp compilé avec Vulkan tourne très bien sur Arc. oneAPI est aussi une option. Moins documenté que NVIDIA mais la communauté grossit.

#Budgets concrets

300 € — juste pour démarrer: RTX 3060 12 Go occasion, ou Arc A770 16 Go. Vous faites tourner du 7B-13B sans problème.
700 € — le sweet spot: RTX 3090 24 Go occasion. Le meilleur rapport VRAM/€. Tourne n'importe quel 32B et les 70B en Q4.
1500 € — confort pro: RTX 5080 neuve ou RX 7900 XTX + Ryzen 9 + 64 Go RAM. Machine complète.
3000 € — workstation LLM: RTX 5090 32 Go OU Mac Mini M4 Pro 48 Go. Cohérent pour un dev qui fait ça tous les jours.
6000 € — le très haut: Mac Studio M4 Ultra 128 Go OU PC 2× RTX 5090. Serveur LLM pour petite équipe.

#Acheter neuf ou occasion ?

Neuf: Garantie, dernière génération, support drivers long terme. Pour un investissement pro amortissable sur 3-5 ans.
Occasion (RTX 3090, 4090): Gain 30-40 %. Les cartes LLM-oriented n'ont pas souffert comme les cartes minage (majorité a passé peu d'heures sous charge).
Vérifications occas: Burn-in de 24h en inférence, monitoring température (ne doit pas dépasser 80°C), pas de pads thermiques refaits, facture d'origine de préférence.
Achat pro: RTX A6000 ou L40 neuves. Garantie 3 ans, prix pro, perf identique aux grand public. Pour qui amortit.

Ce guide vous a aidé ?

Un retour, une erreur, une précision ? Faites-nous signe, ça améliore le guide pour tout le monde.

Suite logique

Matériel · 18 min