Gemma 4 en local avec Ollama : installation et performances

#Pourquoi Gemma 4 en local

Gemma 4 est l'un des meilleurs modèles open-weight de sa taille pour le français. Le 14B Q4 rentre confortablement dans 12 Go de VRAM, ce qui couvre une RTX 3060, une 4070 ou un Mac M-series mid-range. Le 32B exploite enfin les cartes 24 Go (3090, 4090, 7900 XTX) et les Mac à mémoire unifiée généreuse. Sur un usage assistant FR, RAG, code généraliste, c'est un excellent défaut.

L'autre raison de le faire tourner en local : la licence Gemma autorise l'usage commercial avec quelques contraintes (politique d'usage acceptable de Google), et Ollama gère le pull, la quantization et l'inférence sans qu'on touche à Python, CUDA ou llama.cpp directement.

En deux mots

Gemma 4 + Ollama, c'est une commande pour le pull, une commande pour discuter, un endpoint OpenAI-compatible sur localhost:11434. Le reste n'est que réglage.

#Ce qui change vs Gemma 3

Gemma 3 (mars 2025) a apporté le multimodal et un contexte de 128k. Gemma 4 garde ces acquis et pousse sur trois axes : qualité (gros bond mesuré sur les benchmarks de raisonnement et de code), efficacité (le 14B remplace avantageusement le 27B de Gemma 3 sur beaucoup de tâches), et tokenizer (vocabulaire plus dense, ce qui réduit le nombre de tokens à génération équivalente — donc plus de tokens utiles par seconde).

Tailles: Gemma 3 : 1B, 4B, 12B, 27B. Gemma 4 : 4B, 14B, 32B. Le 1B disparaît au profit d'un 4B universellement plus utile.
Multimodal: Vision native sur 14B et 32B (texte + images). Le 4B est text-only.
Contexte: 128k tokens sur tout le line-up. Mêmes contraintes mémoire qu'avant : le KV-cache pèse vite.
Tokenizer: SentencePiece, vocabulaire revu pour mieux couvrir le français, le code et les langues non-latines. À prompt équivalent, on consomme ~5 à 15 % de tokens en moins.
Licence: Gemma Terms of Use. Usage commercial autorisé, redistribution sous mêmes termes, politique d'usage acceptable Google à respecter.

→

Quand garder Gemma 3

Si vous avez déjà un pipeline RAG rodé sur Gemma 3 12B et que la qualité vous suffit, ne migrez pas par principe. Gemma 4 14B est meilleur, mais le surcoût VRAM (~9 Go vs ~7 Go en Q4) et le re-réglage des prompts ne se justifient que si vous touchez aux limites du 12B.

#Prérequis

Ollama installé: Version récente (≥ 0.5). Voir les guides d'installation Windows, macOS ou Linux si ce n'est pas déjà fait.
Espace disque: Compter 3 Go pour le 4B Q4, 9 Go pour le 14B Q4, 20 Go pour le 32B Q4. Les variantes Q8 et FP16 pèsent 2 à 4× plus.
VRAM ou mémoire unifiée: Minimum pratique : 8 Go pour le 4B en Q4, 12 Go pour le 14B en Q4, 24 Go pour le 32B en Q4. En dessous, ça déborde sur CPU et la vitesse s'effondre.
Drivers GPU à jour: CUDA 12.x pour NVIDIA, ROCm 6.x pour AMD, Metal natif pour Apple Silicon. Ollama détecte le backend tout seul.

#1. Pull et lancement en une commande

Le tag Ollama pour Gemma 4 suit la convention habituelle : gemma4 (latest pointe sur le 14B Q4 par défaut), gemma4:4b, gemma4:14b, gemma4:32b. Pour expliciter la quantification, on suffixe : gemma4:14b-instruct-q4_K_M.

Pull et lancement direct

ollama run gemma4:14b

À la première exécution, Ollama télécharge le modèle (~9 Go pour le 14B Q4) puis ouvre directement un prompt interactif. Les fois suivantes, le lancement est instantané tant que le modèle reste en cache mémoire.

Pull seul (sans lancer)

ollama pull gemma4:4b
ollama pull gemma4:14b
ollama pull gemma4:32b

Choisir explicitement la quantization

Par défaut Ollama sert du Q4_K_M, qui est le meilleur compromis qualité/mémoire dans 95 % des cas. Pour aller plus loin : gemma4:14b-instruct-q5_K_M (qualité légèrement meilleure, +25 % VRAM), gemma4:14b-instruct-q8_0 (proche FP16, +100 % VRAM). Le FP16 brut n'a d'intérêt qu'en fine-tuning.

Pour vérifier ce qui est chargé en VRAM en direct :

État des modèles chargés

ollama ps

La colonne PROCESSOR doit afficher 100% GPU. Si vous voyez 70%/30% GPU/CPU, c'est que le modèle déborde — passez à une quantization plus agressive ou à une taille en dessous.

#2. VRAM par taille et quantification

Les chiffres ci-dessous incluent les poids du modèle plus un KV-cache pour une fenêtre de contexte de 8k tokens (le défaut Ollama). Pour pousser à 32k ou 128k, comptez 2 à 8 Go supplémentaires selon la taille.

Gemma 4 4B — Q4_K_M: ≈ 3 Go VRAM. Passe sur n'importe quelle GTX 1660 (6 Go), RTX 3050 (8 Go) ou Mac à 8 Go unifié.
Gemma 4 4B — Q8_0: ≈ 5 Go VRAM. Pertinent si vous avez la marge et voulez la meilleure qualité possible sur cette taille.
Gemma 4 14B — Q4_K_M: ≈ 9 Go VRAM. Cible naturelle : RTX 3060 12 Go, 4070 12 Go, 5070 12 Go, Mac 16 Go+.
Gemma 4 14B — Q5_K_M: ≈ 11 Go VRAM. Tient sur 12 Go avec un contexte modeste, plus confortable sur 16 Go (4070 Ti Super, 5080).
Gemma 4 14B — Q8_0: ≈ 16 Go VRAM. Réservé aux cartes 16 Go+ ou Apple Silicon généreux.
Gemma 4 32B — Q4_K_M: ≈ 19 Go VRAM. Sweet spot : RTX 3090, 4090, 5090, RX 7900 XTX, Mac Studio.
Gemma 4 32B — Q5_K_M: ≈ 23 Go VRAM. Limite haute pour les 24 Go ; viser un Mac à mémoire unifiée 48 Go+ ou multi-GPU sinon.

Le piège du contexte 128k

Activer la fenêtre maximale (num_ctx=131072) sur le 14B peut ajouter 4 à 6 Go au KV-cache. Si vous tenez tout juste en Q4 à 8k, vous déborderez à 32k. Augmentez le contexte par paliers et surveillez ollama ps.

#3. Tokens/sec : RTX et Apple Silicon

Mesures faites avec Ollama 0.5, contexte 8k, prompt court, génération de 200 tokens. Les chiffres bougent de ±10 % selon le contenu généré et la version d'Ollama.

RTX 3060 12 Go: Gemma 4 4B Q4 : ~80 tok/s. Gemma 4 14B Q4 : ~22 tok/s. 32B : déborde, à éviter.
RTX 4070 12 Go: 4B Q4 : ~120 tok/s. 14B Q4 : ~38 tok/s. 32B : déborde.
RTX 4080 Super 16 Go: 14B Q4 : ~58 tok/s. 14B Q8 : ~32 tok/s. 32B : déborde au-delà de 4k contexte.
RTX 4090 24 Go: 14B Q4 : ~90 tok/s. 32B Q4 : ~42 tok/s. 32B Q5 : ~36 tok/s.
RTX 5090 32 Go: 14B Q4 : ~135 tok/s. 32B Q4 : ~68 tok/s. 32B Q8 : ~38 tok/s.
Mac M3 Max 64 Go: 14B Q4 : ~32 tok/s. 32B Q4 : ~17 tok/s. Belle régularité grâce à la mémoire unifiée.
Mac M4 Pro 48 Go: 14B Q4 : ~28 tok/s. 32B Q4 : ~13 tok/s. Le 32B tient sans drame mais reste lent à goûts modernes.
Mac M4 Max 128 Go: 32B Q4 : ~22 tok/s. 32B Q8 : ~12 tok/s. Le seul Mac où le 32B est confortable pour un usage quotidien.

→

Repère pratique

Au-dessus de 30 tok/s, l'usage interactif est fluide. Entre 15 et 30 tok/s, c'est encore correct pour du chat mais ça gratte sur du long. En dessous de 10 tok/s, réservez à du batch ou des tâches où vous attendez de toute façon la fin.

#4. Premier prompt et réglages utiles

Gemma 4 répond bien en français sans system prompt particulier, mais quelques paramètres méritent d'être ajustés selon le cas d'usage.

Test rapide

ollama run gemma4:14b
>>> Explique la différence entre un index B-tree et un index hash en SQL, en 5 lignes.

Pour régler les paramètres à la volée depuis le prompt interactif :

Paramètres en session

/set parameter temperature 0.3
/set parameter num_ctx 16384
/set parameter num_predict 800

temperature: 0.7 par défaut. Descendez à 0.2-0.4 pour du factuel, du code, du RAG. Montez à 0.9-1.1 pour du brainstorming.
num_ctx: Fenêtre de contexte. 4096 ou 8192 par défaut selon les builds. Augmentez selon votre cas d'usage et votre VRAM disponible.
num_predict: Nombre max de tokens générés. -1 pour illimité (jusqu'au stop). Utile pour borner la longueur des réponses.
repeat_penalty: 1.1 par défaut. Si Gemma 4 boucle, montez à 1.15-1.2. Si les réponses paraissent trop écrites, descendez à 1.05.

Persister les réglages

Pour figer un système prompt et des paramètres, créez un Modelfile : FROM gemma4:14b, puis SYSTEM "...", PARAMETER temperature 0.3, etc. ollama create monassistant -f Modelfile et vous appelez ensuite monassistant comme un modèle normal.

#5. API et intégration depuis votre code

Ollama expose un endpoint OpenAI-compatible sur http://localhost:11434/v1. N'importe quel SDK qui parle OpenAI fonctionne en pointant simplement la base_url chez vous.

Python — SDK openai

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama",  # valeur ignorée, mais le SDK l'exige
)

resp = client.chat.completions.create(
    model="gemma4:14b",
    messages=[
        {"role": "system", "content": "Tu réponds en français, de manière concise."},
        {"role": "user", "content": "Résume la photosynthèse en 3 lignes."},
    ],
    temperature=0.3,
)
print(resp.choices[0].message.content)

Pour la version multimodale (14B et 32B), on passe l'image en base64 ou par URL locale dans le message — même protocole que GPT-4o.

Vision via curl

curl http://localhost:11434/api/generate -d '{
  "model": "gemma4:14b",
  "prompt": "Décris cette image en français.",
  "images": ["'"$(base64 -w0 photo.jpg)"'"],
  "stream": false
}'

#Dépannage

"Error: model gemma4 not found": Le tag n'existe pas encore sur votre version d'Ollama, ou typo. Vérifiez avec ollama list les modèles installés et la documentation de la library Ollama pour les tags officiels.
Modèle qui déborde sur CPU: ollama ps affiche 60% GPU / 40% CPU. Passez à une quantization plus agressive (Q4 → Q3_K_S), réduisez num_ctx, ou descendez d'une taille (14B → 4B).
Vitesse divisée par 3 après quelques heures: Le KV-cache se fragmente sur certains drivers. Redémarrez le service Ollama (sudo systemctl restart ollama sur Linux, redémarrer l'app sur Mac/Windows).
Réponses tronquées après ~400 mots: num_predict trop bas. Mettez 2048 ou -1 pour illimité, et augmentez num_ctx en conséquence.
Français approximatif sur le 4B: C'est attendu : le 4B est puissant pour sa taille mais reste un petit modèle. Pour du français exigeant, prenez le 14B.
OOM sur RTX 4060 8 Go en 14B: Le 14B Q4 ne tient pas dans 8 Go. Soit gemma4:4b, soit acceptez l'offload CPU (~3-5 tok/s), soit changez de carte.

#Pour aller plus loin

Vous avez Gemma 4 qui tourne. Quelques pistes pour pousser plus loin selon ce que vous voulez en faire :

Ollama c'est quoi et comment ça marche: Si vous découvrez Ollama, ce guide débutant reprend les commandes essentielles et le modèle mental complet.
Choisir sa quantification (Q4, Q5, Q8, FP16): Pour comprendre exactement ce que vous sacrifiez en passant du Q8 au Q4, et quand ça compte vraiment.
Open WebUI avec Ollama: Pour une interface ChatGPT-like par-dessus Gemma 4 : historique de conversations, RAG intégré, partage multi-utilisateurs.

Ce guide vous a aidé ?

Un retour, une erreur, une précision ? Faites-nous signe, ça améliore le guide pour tout le monde.

Suite logique

Premiers pas · 7 min