RTX 5090 et LLM local : mémoire, modèles, benchmark

#Ce qui est vérifié, et ce qui ne l’est pas

La fiche NVIDIA annonce 32 Go de GDDR7 pour la RTX 5090, contre 24 Go pour la RTX 4090. Cette différence augmente le budget de mémoire ; elle ne prouve pas un débit ni une qualité de réponse. Source constructeur : https://www.nvidia.com/en-us/geforce/graphics-cards/50-series/rtx-5090/

#Poids, cache de contexte et marge du runtime

Le fichier quantifié, le cache KV et les buffers du runtime doivent tenir ensemble. Un fichier de 32 Go ne tient pas intégralement dans 32 Go de VRAM avec un contexte utile. Réduire le contexte, choisir une quantification plus compacte ou accepter un offload CPU sont des compromis distincts.

Estimation théorique des poids seuls : paramètres totaux × bits par poids / 8, avant métadonnées et surcoûts de quantification. Ce calcul n’est ni une mesure de VRAM utilisée ni une garantie de chargement. Le nombre de paramètres actifs d’un MoE ne remplace jamais le nombre total pour estimer les poids à stocker.

#Llama 4 Scout : la correction essentielle

L’identité officielle est meta-llama/Llama-4-Scout-17B-16E-Instruct : 17 milliards de paramètres actifs, 109 milliards au total et 16 experts. L’ancienne désignation « 17B-A2B » et la prétendue occupation de 17 Go étaient incorrectes. À quatre bits, 109 milliards de poids représentent déjà environ 54,5 Go décimaux avant les surcoûts. Ce n’est pas un modèle intégralement GPU sur une seule RTX 5090 de 32 Go à cette quantification.

Source primaire : https://huggingface.co/meta-llama/Llama-4-Scout-17B-16E-Instruct . Un offload vers la RAM ou plusieurs cartes change le protocole et le débit. Nous n’attribuons aucun résultat de vitesse à cette configuration non mesurée.

#Un premier modèle identifiable

Pour démarrer, Qwen/Qwen3-8B et Qwen/Qwen3-14B sont deux modèles identifiables publiés par Qwen. Commencez par une quantification Q4 et un contexte de 4096 tokens, puis vérifiez le placement réel. Le 8B laisse davantage de marge ; le 14B constitue une alternative à comparer sur vos propres tâches. Ce choix de départ n’est pas un classement de qualité testé sur RTX 5090.

Sources : https://huggingface.co/Qwen/Qwen3-8B et https://huggingface.co/Qwen/Qwen3-14B ; distributions Ollama : https://ollama.com/library/qwen3:8b et https://ollama.com/library/qwen3:14b . Le tag peut évoluer : relever son digest et la quantification avec ollama show avant de comparer les résultats.

ollama run qwen3:8b
# Dans la session interactive :
/set parameter num_ctx 4096
# Posez une question courte, puis contrôlez le placement dans un autre terminal :
ollama ps
ollama show qwen3:8b

#RTX 5090 et RTX 4090 : comparer sans faux benchmark

La RTX 4090 ne prend pas en charge NVLink. Deux RTX 4090 ne forment pas automatiquement un pool de 48 Go utilisable comme une seule carte. Le runtime peut répartir certaines charges via PCIe, avec des coûts de communication et des contraintes propres au modèle. Source NVIDIA : https://www.nvidia.com/en-us/geforce/graphics-cards/40-series/rtx-4090/

Comparer seulement la bande passante ne donne pas un multiplicateur fiable de tokens par seconde. Le traitement du prompt, la génération, la quantification, le contexte, les kernels et l’offload doivent être identiques. Aucun avantage chiffré 5090/4090/3090 n’est revendiqué ici sans mesures comparables.

#Protocole reproductible à appliquer

Relever GPU exact et VRAM via nvidia-smi, CPU, RAM, OS, pilote, version du runtime, identifiant et hash du modèle, quantification, contexte, batch et offload. Garder un seul utilisateur et aucune autre charge GPU pendant l’essai. Faire un échauffement documenté puis cinq répétitions avec les mêmes entrées.

Conserver séparément prompt_eval_count / prompt_eval_duration et eval_count / eval_duration dans les réponses JSON Ollama. Les durées sont en nanosecondes. Publier chaque répétition, médiane et dispersion, en signalant le cache du prompt. Source : https://docs.ollama.com/api/generate . Un débit de génération ne mesure pas toute la latence perçue ni la qualité.

#Consommation et prix : données non mesurées ici

La puissance annoncée par le constructeur n’est pas une consommation au mur. Une comparaison énergétique exige un wattmètre, le même système, la durée et les sorties produites. Les anciens ratios prix/tokens et conseils de power limit chiffrés sont retirés faute de mesures traçables. Comparez les prix actuels seulement après avoir défini votre besoin de mémoire.

#Choisir selon la mémoire réellement nécessaire

Une carte de 32 Go peut être utile quand votre modèle quantifié et son contexte dépassent le budget d’une carte de 24 Go tout en restant sous celui de 32 Go. Pour de petits modèles, vérifiez d’abord le résultat sur votre matériel actuel. Pour Scout, le poids total reste déterminant : les paramètres actifs ne rendent pas ce modèle compatible avec 32 Go.

#Continuer vers une installation gratuite

Le configurateur fournit une estimation de compatibilité. La fiche du modèle et le guide Ollama permettent ensuite de vérifier l’installation et le placement CPU/GPU avant tout achat. Les résultats matériels publiés sur la page Benchmarks doivent être lus avec leur protocole et leur machine exacte.

• Fiche officielle Llama 4 Scout
• Spécifications RTX 4090 — NVIDIA
• Mesures traçables sur notre machine de test
• Installer Qwen3 8B
• Estimer la compatibilité matérielle