Faire tourner un LLM en local sans GPU (CPU only)

#Pourquoi faire tourner un LLM local sans GPU ?

Tous les guides d'IA locale partent du principe que vous avez une RTX 4070 dans votre tour. La réalité, c'est qu'une grosse majorité des laptops, des PC de bureau professionnels et des mini-PC tournent sur GPU intégré ou sans carte dédiée du tout. Bonne nouvelle : un LLM en CPU pur, ça marche.

Trois raisons typiques de viser le CPU only : un laptop sans GPU NVIDIA (la majorité des Dell, Lenovo, Mac Intel anciens), un PC de bureau pro avec un iGPU Intel ou AMD, ou un serveur Linux headless qu'on ne veut pas équiper. Dans les trois cas, l'enjeu n'est pas "est-ce que ça marche" mais "quel modèle reste utilisable".

#Ce que vous pouvez attendre en pratique

Avant de télécharger quoi que ce soit, calez vos attentes. Un LLM local sans GPU CPU n'a pas la même réactivité qu'un ChatGPT ou qu'un modèle sur RTX 4090. Voici les ordres de grandeur réalistes en 2026 :

Modèle 1B–2B Q4

20 à 40 tokens/sec sur CPU récent. Très fluide, presque comme un chat en ligne. Parfait pour des tâches simples : reformulation, résumé court, classification.

Modèle 3B Q4

10 à 20 tokens/sec. Toujours confortable, on lit en même temps que le modèle écrit. Le sweet-spot CPU pour un usage quotidien.

Modèle 7B–8B Q4

4 à 10 tokens/sec. Utilisable mais on attend. Bon pour des tâches asynchrones (analyser un texte, générer un brouillon).

Modèle 13B–14B Q4

2 à 5 tokens/sec. À la limite du tolérable. Réservez aux tâches batch, pas au chat interactif.

Au-delà de 14B

Possible mais douloureux. Mieux vaut louer une heure de GPU cloud que faire tourner un 32B sur CPU.

#Modèles recommandés par RAM disponible

Sur CPU, toute la RAM système peut servir au modèle, mais il faut garder de la marge pour l'OS et vos applications. Comptez 4 à 6 Go réservés au système. Le reste détermine la taille de modèle accessible.

#8 Go de RAM : modèles 1B à 3B

Llama 3.2 1B Q4_K_M

≈0,8 Go. Ultra-rapide, mais limité en raisonnement. Bien pour reformuler, traduire, classer.

Gemma 2 2B Q4_K_M

≈1,7 Go. Excellent ratio qualité/taille de Google DeepMind. Parle un bon français.

Qwen 2.5 3B Q4_K_M

≈2,0 Go. Le meilleur 3B polyvalent. Solide en code et en français.

Phi-3.5 Mini 3.8B Q4_K_M

≈2,4 Go. Très fort en raisonnement pour sa taille, signé Microsoft.

#16 Go de RAM : 7B–8B confortables

Mistral 7B Instruct Q4_K_M

≈4,4 Go. Le classique français. Bon équilibre, rapide à charger.

Llama 3.1 8B Q4_K_M

≈4,9 Go. Très bon en raisonnement général et en français.

Qwen 2.5 7B Q4_K_M

≈4,7 Go. Excellent en code, très bon en multilingue.

Qwen 2.5 Coder 7B Q4_K_M

≈4,7 Go. Spécialisé dev, très utile pour l'autocomplétion locale.

#32 Go de RAM : on peut viser un 14B

Phi-4 14B Q4_K_M

≈9 Go. Excellent raisonnement, mais 3 à 5 tokens/sec sur CPU.

Qwen 2.5 14B Q4_K_M

≈9 Go. Très solide en français et en code.

Mistral Small 22B Q4_K_M (à la limite)

≈13 Go. Possible mais lent, ~2 tokens/sec. Plus utile en batch.

#1. Installer Ollama (mode CPU automatique)

Ollama est l'outil le plus simple pour démarrer. Il détecte automatiquement l'absence de GPU et bascule sur CPU sans configuration particulière. Le daemon écoute par défaut sur http://localhost:11434.

curl -fsSL https://ollama.com/install.sh | sh

Sur Windows et macOS, téléchargez l'installateur depuis ollama.com. Aucun réglage spécifique pour le mode CPU — Ollama fait le bon choix tout seul.

ollama --version
ollama ps

La commande ollama ps doit afficher le statut du daemon. Si une conversation tourne, la colonne PROCESSOR indiquera 100% CPU — c'est exactement ce qu'on veut ici.

#2. Trois modèles à comparer en CPU only

Pour 16 Go de RAM, la question n'est pas "quel modèle" mais "lequel parmi les trois grands petits modèles de 2026". Téléchargez les trois et faites-vous votre propre avis en une heure.

ollama pull phi3.5:3.8b
ollama pull qwen2.5:3b
ollama pull gemma2:2b

Phi-3.5 Mini (3.8B)

Champion du raisonnement par paramètre. Excellent en logique, math, code. Anglais natif, français correct. Le plus lent des trois (3.8B oblige).

Qwen 2.5 3B

Le meilleur polyvalent à cette taille. Très solide en français, bon en code, suit bien les instructions. Mon défaut : tendance à être bavard.

Gemma 2 2B

Le plus rapide des trois. Qualité étonnante pour 2B. Idéal si vous voulez du quasi temps-réel sur CPU modeste. Moins bon en code que les deux autres.

ollama run gemma2:2b --verbose
>>> Explique en 3 phrases la différence entre une LLC et une SAS.

L'option --verbose affiche les statistiques en bas de chaque réponse : prompt eval rate, eval rate (tokens/sec en génération), total duration. C'est votre métrique de référence sur cette machine.

#3. Benchmarks tokens/sec mesurés

Voici des chiffres réels collectés sur des machines représentatives, sans GPU, avec Ollama (qui utilise llama.cpp en sous-jacent) en quantization Q4_K_M. Vos résultats varieront de ±20 % selon le contexte, la mémoire, la fréquence DDR.

#Intel Core i5-12400 + DDR4-3200 16 Go

Gemma 2 2B Q4_K_M

≈ 28 tokens/sec en génération

Qwen 2.5 3B Q4_K_M

≈ 18 tokens/sec

Phi-3.5 Mini Q4_K_M

≈ 14 tokens/sec

Mistral 7B Q4_K_M

≈ 7 tokens/sec

Llama 3.1 8B Q4_K_M

≈ 6 tokens/sec

#Intel Core i7-13700K + DDR5-5600 32 Go

Gemma 2 2B Q4_K_M

≈ 42 tokens/sec

Qwen 2.5 3B Q4_K_M

≈ 28 tokens/sec

Phi-3.5 Mini Q4_K_M

≈ 22 tokens/sec

Mistral 7B Q4_K_M

≈ 12 tokens/sec

Phi-4 14B Q4_K_M

≈ 5 tokens/sec

#AMD Ryzen 7 7700X + DDR5-6000 32 Go

Gemma 2 2B Q4_K_M

≈ 45 tokens/sec

Qwen 2.5 3B Q4_K_M

≈ 30 tokens/sec

Phi-3.5 Mini Q4_K_M

≈ 23 tokens/sec

Mistral 7B Q4_K_M

≈ 13 tokens/sec

Llama 3.1 8B Q4_K_M

≈ 11 tokens/sec

Phi-4 14B Q4_K_M

≈ 6 tokens/sec

#4. Compiler llama.cpp avec AVX-512 (avancé)

Ollama embarque des binaires llama.cpp précompilés génériques. En compilant llama.cpp à la main avec les jeux d'instructions de votre CPU (AVX2, AVX-512, AMX), vous pouvez gagner 10 à 30 % de tokens/sec sur certains processeurs. Réservé aux Intel Core 11e+ (Ice Lake / Rocket Lake / Sapphire Rapids) qui supportent AVX-512.

grep -o 'avx512[a-z_]*' /proc/cpuinfo | sort -u

Si la commande renvoie des lignes (avx512f, avx512dq, etc.), votre CPU supporte AVX-512. Sinon, restez avec Ollama standard, vous n'aurez rien à gagner.

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
cmake -B build \
  -DGGML_NATIVE=ON \
  -DGGML_AVX512=ON \
  -DGGML_AVX512_VBMI=ON \
  -DGGML_AVX512_VNNI=ON
cmake --build build --config Release -j

L'option -DGGML_NATIVE=ON laisse le compilateur détecter automatiquement les jeux d'instructions de votre CPU et active tout ce qui est disponible. C'est la méthode la plus simple et la plus fiable.

./build/bin/llama-bench -m mistral-7b-instruct-v0.3.Q4_K_M.gguf -t 8

L'option -t définit le nombre de threads (mettez le nombre de cœurs physiques, pas logiques). llama-bench renvoie un tableau avec pp512 (prompt eval), tg128 (génération) en tokens/sec — votre nouvelle référence pour comparer.

#Astuces pour gagner des tokens/sec sur CPU

1. 01
   Régler le nombre de threads

   Par défaut Ollama utilise tous les cœurs logiques. Sur certains CPU avec hyper-threading, limiter aux cœurs physiques (OLLAMA_NUM_THREADS=8 pour un 8-cœurs) accélère de 5 à 15 %.
2. 02
   Garder le modèle chargé

   Le chargement du modèle prend plusieurs secondes. OLLAMA_KEEP_ALIVE=30m maintient le modèle en RAM pour 30 min après la dernière requête. Sans GPU, c'est encore plus précieux car le rechargement est lent.
3. 03
   Réduire le contexte si possible

   num_ctx 2048 au lieu de 8192 économise de la RAM et accélère sensiblement. Ne gardez un grand contexte que pour les usages qui en ont vraiment besoin (RAG, longs documents).
4. 04
   Fermer Chrome et Slack

   Un LLM 7B sur CPU sature la bande passante mémoire. Tout ce qui touche aussi à la RAM (browser avec 50 onglets, Slack, Teams) lui prend des cycles. Sur 16 Go, ça peut faire la différence entre 5 et 8 tokens/sec.
5. 05
   Choisir la DDR la plus rapide compatible

   Si vous upgradez : DDR4-3200 → DDR4-3600 = +10 %. DDR4 → DDR5-5600 = +30 à 50 %. Le CPU compte beaucoup moins que la mémoire pour l'inférence LLM.

#Quand le CPU ne suffit plus

Soyons honnêtes : sans GPU, certains usages restent hors d'atteinte. Si vous reconnaissez votre cas dans la liste ci-dessous, il est temps d'envisager un GPU même modeste (RTX 3060 12 Go d'occasion à 250 € change la vie) ou de louer du cloud à l'heure.

Chat interactif avec un 13B+

2 à 5 tokens/sec, c'est trop lent pour conversational AI. Un GPU 12 Go règle ça instantanément.

RAG avec gros contexte (16k+)

Le prompt eval explose en temps de traitement sur CPU. Une RTX 3060 traite un prompt 8k en 1 sec, un i7 met 30 sec.

Autocomplétion de code en temps réel

Continue.dev ou Cody ont besoin de réponses sous 200 ms. Sur CPU, vous ne descendrez pas sous 1 à 2 sec. GPU obligatoire.

Génération en volume

Traiter 1000 documents = des jours sur CPU, des heures sur GPU. Pour un batch ponctuel, RunPod ou Vast.ai à 0,30 €/h font le job en une nuit.

#Pour aller plus loin

Vous avez un LLM local CPU qui répond. Quelques prolongements naturels selon votre prochaine question :

Choisir la bonne quantification

Q4_K_M est le défaut sage, mais Q5_K_M ou Q3 ont leur place selon votre RAM. Le guide quantification détaille les compromis.

Habiller le tout d'une interface

Le terminal c'est bien pour tester. Open WebUI ou LM Studio donnent une interface ChatGPT-like locale en quelques minutes.

Quand ajouter un GPU

Si vous franchissez le pas, le guide de choix de GPU compare RTX 3060 vs 4060 vs 4070, avec les benchmarks LLM associés.

Matériel recommandé : AMD Radeon RX 9070 XT 16 Go — pour passer du CPU pur à un GPU dédié. Tout le matériel IA →