GLM 5.1 en local : l'alternative open-weight à connaître

#Pourquoi GLM 5.1 en local

Trois raisons concrètes poussent à essayer GLM 5.1 plutôt qu'un Qwen ou un Llama équivalent. D'abord, sa licence permissive : la version open-weight (déclinée en 9B et 32B) autorise l'usage commercial, ce qui n'a rien d'évident dans l'écosystème open-source. Ensuite, le tool calling natif : GLM 5.1 a été entraîné dès le départ pour appeler des outils, ce qui le rend particulièrement adapté aux agents locaux sans bricolage de prompts.

Enfin, le rapport qualité/taille : le 9B se hisse au niveau d'un Qwen3 14B sur plusieurs benchmarks de code et de raisonnement, ce qui en fait un choix intéressant si vous êtes limité à 12 Go de VRAM. Le 32B vise plus haut et joue dans la cour des modèles 30-40B comme Qwen3 32B ou Mistral Small 24B.

En deux mots

GLM 5.1 = un modèle open-weight chinois sérieux, sous-coté en francophonie, particulièrement fort en code et en tool calling. Ollama l'expose en une commande, llama.cpp si vous voulez plus de contrôle.

#Ce qui caractérise GLM 5.1

GLM 5.1 conserve l'architecture transformer dense des versions précédentes — pas de Mixture-of-Experts ici, contrairement à Qwen3 35B-A3B ou DeepSeek V4. C'est un choix qui simplifie l'inférence et garantit que le débit ne s'effondre pas sur les questions qui sollicitent des experts inhabituels.

Tailles: 9B et 32B en open-weight. Une version 100B+ existe mais reste accessible uniquement via API Zhipu, pas téléchargeable.
Contexte: 128k tokens sur les deux tailles, étendu à 1M via YaRN scaling sur le 32B (avec dégradation au-delà de 200k).
Tokenizer: Tokenizer bilingue chinois/anglais optimisé, avec une couverture du français correcte. Compter ~5 % de tokens en plus qu'un Mistral pour un texte FR équivalent.
Tool calling: Format natif compatible avec le schéma OpenAI tools. Pas de prompt engineering pour le déclencher, le modèle sait quand appeler une fonction.
Licence: GLM License (variante d'Apache 2.0 avec clause d'attribution). Usage commercial autorisé, redistribution sous mêmes termes.
Multimodal: Texte seul sur le 9B et 32B open-weight. La version vision (GLM-V) est un modèle séparé, à pull à part.

→

Pourquoi pas le MoE ici

Un dense 32B est plus simple à déployer qu'un MoE 35B-A3B : pas de surprise de VRAM liée au routage, pas de variance forte du débit selon la question. Si vous voulez une vitesse stable et prévisible, GLM 5.1 32B est plus confortable qu'un MoE équivalent.

#Prérequis

Ollama ≥ 0.5: Pour la version Ollama. Les builds plus anciens ne connaissent pas le template de chat GLM 5.1.
llama.cpp récent: Build de 2026 ou plus. Le support de l'architecture GLM a été stabilisé fin 2025.
Espace disque: 6 Go pour le 9B Q4, 19 Go pour le 32B Q4. Doublez pour Q8, quadruplez pour FP16.
VRAM minimum: 8 Go pour le 9B Q4, 24 Go pour le 32B Q4. En dessous, ça déborde sur CPU et le débit tombe à 3-5 tok/s.
Driver GPU à jour: CUDA 12.x pour NVIDIA, ROCm 6.x pour AMD, Metal natif pour Apple Silicon.

#1. Installation avec Ollama

Ollama est la voie la plus courte. Le modèle est servi sous le nom glm5.1 dans la library officielle, avec les tags habituels par taille et quantification.

Pull et lancement direct

ollama run glm5.1:9b

Pour le 32B, mêmes mécanique mais comptez plusieurs minutes de téléchargement et au moins 24 Go de VRAM ou de mémoire unifiée.

Tags utiles

ollama pull glm5.1:9b           # alias de 9b-instruct-q4_K_M
ollama pull glm5.1:9b-q8_0      # qualité supérieure, +60% VRAM
ollama pull glm5.1:32b          # 32B Q4 par défaut
ollama pull glm5.1:32b-q5_K_M   # le sweet spot 32B sur 24 Go

Une fois pulled, l'endpoint OpenAI-compatible d'Ollama écoute par défaut sur http://localhost:11434, et glm5.1 répond comme n'importe quel modèle servi par Ollama.

Vérifier que le modèle tient en VRAM

Après le premier prompt, lancez ollama ps dans un autre terminal. La colonne PROCESSOR doit afficher 100% GPU. Si vous voyez 70% GPU / 30% CPU, c'est que vous avez débordé — passez à une quantization plus agressive ou descendez d'une taille.

#2. Installation avec llama.cpp

Avec llama.cpp, on récupère un GGUF depuis Hugging Face et on le lance en CLI ou via le serveur HTTP. C'est la voie à privilégier si vous voulez régler finement le KV-cache, le draft model pour la spéculation, ou si vous tournez sur du multi-GPU.

Téléchargement GGUF

# 9B en Q4_K_M (recommandé)
wget https://huggingface.co/zhipuai/glm-5.1-9b-chat-gguf/resolve/main/glm-5.1-9b-chat-Q4_K_M.gguf

# 32B en Q4_K_M
wget https://huggingface.co/zhipuai/glm-5.1-32b-chat-gguf/resolve/main/glm-5.1-32b-chat-Q4_K_M.gguf

Lancement en mode serveur

./llama-server \
  -m glm-5.1-9b-chat-Q4_K_M.gguf \
  -c 16384 \
  -ngl 99 \
  -fa \
  --host 0.0.0.0 --port 8080

-c 16384: Fenêtre de contexte. 16k est un bon défaut FR/code, montez à 32k ou plus si vous avez la VRAM.
-ngl 99: Tout en GPU. Mettez une valeur plus basse pour offloader des couches sur CPU si vous débordez.
-fa: Flash Attention. Indispensable au-delà de 8k pour ne pas exploser la mémoire KV.
--host 0.0.0.0: Expose le serveur sur le réseau. Mettez 127.0.0.1 si vous voulez le restreindre à la machine locale.

→

Quantization du KV-cache

Sur GLM 5.1, --cache-type-k q8_0 --cache-type-v q8_0 divise par 2 la mémoire KV avec une perte de qualité quasi nulle. Indispensable si vous visez 64k+ de contexte sur du 32B.

#3. VRAM par quantification

Les chiffres ci-dessous comptent les poids + un KV-cache pour 8k de contexte. Pour pousser à 32k ou 128k, ajoutez 2 à 8 Go selon la taille.

GLM 5.1 9B — Q4_K_M: ≈ 6 Go VRAM. Tient sur GTX 1660 6 Go en serrant, confortable sur RTX 3050/3060/4060 8 Go.
GLM 5.1 9B — Q5_K_M: ≈ 7 Go VRAM. Pertinent dès 8 Go avec un peu de marge.
GLM 5.1 9B — Q8_0: ≈ 10 Go VRAM. Cible RTX 3060 12 Go, 4070 12 Go ou Mac 16 Go+.
GLM 5.1 32B — Q4_K_M: ≈ 19 Go VRAM. Sweet spot : RTX 3090, 4090, 5090, RX 7900 XTX, Mac Studio.
GLM 5.1 32B — Q5_K_M: ≈ 23 Go VRAM. Limite haute des 24 Go ; viser Mac 48 Go+ ou multi-GPU pour respirer.
GLM 5.1 32B — Q8_0: ≈ 34 Go VRAM. Réservé à la RTX 5090 32 Go, aux Mac Studio Ultra ou au multi-GPU (2× 3090, 2× 4090).

Le piège du 128k de contexte

Activer la fenêtre maximale ajoute 5 à 10 Go au KV-cache selon la taille. Sur le 32B Q5 à 24 Go, vous tenez à 8k mais vous débordez à 32k. Montez le contexte par paliers et surveillez ollama ps ou nvidia-smi.

#4. Qualité en français et en code

GLM 5.1 est entraîné principalement sur du chinois et de l'anglais, mais le français passe correctement — pas au niveau d'un Mistral natif, mais au-dessus d'un Llama 3.3 sur la même classe de taille. Les erreurs typiques portent sur des tournures idiomatiques et quelques accords rares ; rien qui gêne l'usage assistant général ou le RAG.

Français — 9B: Solide pour résumé, traduction, RAG sur documents FR. Quelques anglicismes ponctuels. Préférer une température basse (0.2-0.4) pour minimiser les dérives.
Français — 32B: Très propre. Au coude-à-coude avec Mistral Small 24B en qualité d'écriture, légèrement en dessous de Mistral Large.
Code — 9B: Excellent pour sa taille. Génération Python, JS, Go, Rust de qualité. Bat un Llama 3.1 8B et tient face à Qwen2.5-Coder 7B.
Code — 32B: Très performant. Sur HumanEval, MBPP, MultiPL-E, il joue dans le peloton de tête open-weight. Bon en refactoring multi-fichiers grâce au contexte 128k.
Raisonnement: Chain-of-thought explicite si demandé, sans token <think> spécial comme DeepSeek R1. Le 32B se tient sur AIME, GPQA, MATH.
Tool calling: Format natif compatible OpenAI tools. Le modèle décide seul d'appeler une fonction, et formate l'arguments JSON sans bavure.

→

Pour du code en quotidien

Si votre objectif premier est l'assistance code, comparez GLM 5.1 9B à Qwen2.5-Coder 7B sur vos propres tâches. Les deux sont excellents, mais l'un peut mieux coller à votre langage et style. Aucun benchmark public ne remplace 30 minutes de test sur votre repo.

#5. GLM 5.1 vs Qwen3 et Llama

Trois modèles open-weight occupent la même classe de taille en 2026 : GLM 5.1, Qwen3 (dense 14B/32B) et Llama 3.3 (8B/70B). Le tableau honnête :

Vitesse pure (tok/s): À taille égale et VRAM égale, GLM 5.1 est dans la même fourchette que Qwen3 dense et Llama 3.3. Aucun écart marquant — le débit dépend surtout du backend (Ollama vs llama.cpp vs vLLM) et du GPU.
Qualité française: Mistral natifs > Qwen3 ≈ GLM 5.1 > Llama 3.3 à taille équivalente. Si le FR est critique, Mistral reste devant ; GLM 5.1 est un solide deuxième choix open.
Code: Qwen2.5/3-Coder > GLM 5.1 ≈ Qwen3 généraliste > Llama 3.3 à taille égale. GLM 5.1 32B est compétitif face à Qwen3 32B, légèrement derrière les variantes Coder dédiées.
Tool calling: GLM 5.1 ≈ Qwen3 > Llama 3.3. Les deux premiers ont été entraînés explicitement pour les outils, Llama demande un peu plus de prompt engineering.
Contexte long: Qwen3 1M natif > GLM 5.1 128k (1M via YaRN) > Llama 3.3 128k natif. Pour de l'analyse de codebase entière, Qwen3 garde une longueur d'avance.
Licence: GLM (Apache-like) ≈ Qwen (Apache 2.0 sur la plupart des variantes) > Llama (licence custom Meta avec restrictions au-delà de 700M MAU). Pour un usage entreprise, GLM et Qwen sont plus simples juridiquement.
Écosystème: Llama > Qwen > GLM 5.1. Llama a la plus grande masse de fine-tunes communautaires, Qwen rattrape vite, GLM 5.1 reste plus confidentiel — moins de variantes, moins de tutoriels FR.

Notre recommandation honnête

Si vous avez 12 Go de VRAM et que vous voulez tester quelque chose qui sort des sentiers battus : GLM 5.1 9B. Si vous voulez le meilleur généraliste open à 24 Go : Qwen3 32B ou GLM 5.1 32B selon ce qui tourne mieux sur vos prompts. Si la communauté et le fine-tuning comptent : Llama 3.3 reste imbattable en quantité d'options dérivées.

#Astuces et pièges

System prompt court: GLM 5.1 obéit bien aux system prompts mais sature un peu si vous lui en mettez 800 mots. Visez 200-400 mots, clair et structuré.
Temperature basse pour le FR: 0.2-0.4 pour minimiser les anglicismes et les bizarreries d'accord. Au-dessus de 0.7, la qualité d'écriture FR commence à osciller.
Stop tokens: Le modèle utilise <|endoftext|> et <|user|> comme délimiteurs. Si vous écrivez votre propre client, ajoutez ces deux strings dans les stop tokens pour éviter qu'il continue à parler tout seul.
Streaming via Ollama: L'endpoint /api/chat et /v1/chat/completions supportent stream=true. Pas de quirk particulier sur GLM 5.1 contrairement à certains modèles MoE.
Fine-tuning LoRA: GLM 5.1 9B est viable en LoRA sur une RTX 4090 24 Go avec Unsloth. Le 32B demande du multi-GPU ou un Mac à mémoire unifiée généreuse.
Modelfile Ollama: Pour figer un system prompt et des paramètres, créez un Modelfile basé sur glm5.1:9b puis ollama create monassistant -f Modelfile. Le modèle dérivé apparaît dans ollama list comme n'importe quel autre.

Confusion avec ChatGLM et GLM-4

Ne confondez pas GLM 5.1 (architecture transformer dense moderne, sortie 2026) avec ChatGLM (la première génération, 2023) ou GLM-4 (2024). Les tags Ollama sont distincts (chatglm, glm4, glm5.1) ; vérifiez bien ce que vous pullez.

#Pour aller plus loin

GLM 5.1 tourne, vous avez vos premiers résultats. Quelques pistes pour pousser :

Choisir sa quantification (Q4, Q5, Q8, FP16): Pour décider précisément du compromis qualité/VRAM sur vos cas d'usage.
Qwen3.6 35B-A3B en local : test et besoins VRAM: Le concurrent direct côté Qwen, en architecture MoE. Comparatif utile si vous hésitez.
Open WebUI avec Ollama : guide complet: Une interface ChatGPT-like par-dessus GLM 5.1 : conversations, RAG, multi-utilisateurs.
Créer un agent IA local en Python avec LangChain et Ollama: Pour exploiter le tool calling natif de GLM 5.1 et lui faire appeler vos propres fonctions.

Ce guide vous a aidé ?

Un retour, une erreur, une précision ? Faites-nous signe, ça améliore le guide pour tout le monde.

Suite logique

Premiers pas · 9 min