La RTX 5090 peut-elle faire tourner Llama 3.1 70B en local ?

Oui, en Q4_K_M elle tient 22-28 tokens/seconde avec un offload partiel VRAM + RAM (le modèle pèse 42 Go, la carte en a 32). En quantization IQ3_M (3 bits imatrix, ~30 Go), elle tient le modèle entièrement en VRAM et monte à 30-36 tokens/seconde. C'est le premier GPU grand public qui rend les 70B vraiment confortables.

Combien de tokens/seconde pour Mistral 7B sur RTX 5090 ?

Entre 130 et 145 tokens/seconde en Q4_K_M, 95 tok/s en Q8_0, 72 tok/s en FP16. Soit ~25 % de plus qu'une RTX 4090 à quantization équivalente.

RTX 5090 ou deux RTX 4090 pour LLM ?

La 5090 seule. Deux 4090 offrent 48 Go de VRAM mais il faut gérer le split modèle et le SLI n'est plus supporté. llama.cpp sait répartir un modèle sur plusieurs GPU (tensor parallelism) mais la latence augmente. Pour un usage simple et rapide, une seule 5090 bat largement le dual 4090 en ergonomie.

Faut-il une alim 1000 W pour la RTX 5090 ?

Recommandé par NVIDIA. En pratique, une alim 850 W ATX 3.0 / ATX 3.1 de qualité (Corsair RMx, Seasonic Focus GX, be quiet! Straight Power 12) tient une 5090 avec un CPU ≤ 200 W. Le connecteur 12V-2×6 est indispensable — vérifiez à l'achat.

La RTX 5090 supporte-t-elle FP4 ?

Oui, nativement. C'est une nouveauté Blackwell : les Tensor Cores 5ᵉ gen exécutent du FP4 sans conversion. NVIDIA pousse le format NVFP4 via TensorRT-LLM. À date, Ollama et llama.cpp n'exploitent pas encore FP4 directement — il faut passer par vLLM ou TensorRT-LLM.

Peut-on faire du fine-tuning LoRA sur RTX 5090 ?

Oui, très confortablement. Un LoRA sur Llama 3.1 8B tient en 12 Go de VRAM, laisse de la marge pour un contexte de 8k. Pour Mistral Small 24B en QLoRA : ~22 Go. Pour du 70B QLoRA : 28-30 Go (juste, réduire batch size). unsloth et axolotl fonctionnent nativement.

Quelle différence de perf LLM entre RTX 5090 et H100 ?

Sur du single-stream inference, la 5090 est proche d'une H100 PCIe (~80-90 %) grâce à sa bande passante 1792 Go/s vs 2039 Go/s pour la H100. Sur du batch multi-utilisateurs avec TensorRT-LLM, la H100 creuse l'écart (+50-100 %). Pour un usage individuel, la 5090 est un choix rationnel face à une carte pro 4× plus chère.

Quel LLM sur RTX 5090 (32 Go) ?

RTX 5090 2025 : 32 Go de VRAM GDDR7, bande passante 1792 Go/s. Faire tourner Llama 70B Q4 en local, benchmarks mesurés, configurations idéales.

Activez JavaScript pour accéder au configurateur interactif et à la bibliothèque de guides.