Comprendre la fenêtre de contexte

#Qu'est-ce que la fenêtre de contexte ?

C'est le nombre maximum de tokens que le modèle peut "voir" en même temps : system prompt + historique de conversation + votre dernière question + la réponse qu'il est en train d'écrire. Tout s'additionne.

#Le token, unité de base

Un token n'est pas un mot. C'est un morceau de texte de 1 à 7 caractères typiquement, avec la ponctuation et les espaces inclus. Le mot "bonjour" fait 1 token. "anticonstitutionnellement" en fait 6.

Règle de pouce

1 token ≈ 4 caractères en anglais, ≈ 3 caractères en français (le français utilise plus de tokens à volume égal).

1 page A4

~500 mots ≈ 700 tokens en anglais, ≈ 900 tokens en français.

1 livre moyen

~80 000 mots ≈ 120 000 tokens en français. Hors de toute fenêtre pour un LLM local.

>>> /show info
# regardez la ligne context length

# Ou via l'API :
curl http://localhost:11434/api/tokenize \
  -d '{"model":"qwen3.5:9b","text":"Bonjour le monde"}'

#Tailles typiques en 2026

2 048 tokens

Vieux modèles (Llama 2 de base). Une longue conversation le sature vite.

4 096 / 8 192

Défaut de la plupart des Ollama en 2025. Un PDF moyen passe, une conversation longue pas.

32 000

Un plancher confortable pour tout usage quotidien. En 2026 la plupart des modèles vont bien plus loin (voir ci-dessous).

128 000

Granite 4.2 8B et gpt-oss 20B en natif. Un roman entier y rentre.

256 000+

Qwen 3.5 (2B à 9B) et Qwen 3.8 27B atteignent déjà 256k en local. Le million reste côté cloud (Claude, Gemini).

#Combien ça coûte en VRAM ?

La fenêtre de contexte est stockée dans le KV cache — un gros tableau de clés/valeurs à chaque couche du transformer. Ça monte vite.

KV cache (Go) ≈ n_couches × n_heads × dim_head × contexte × 2 × 2 bytes
                 / (1024^3)

Exemple Qwen 3.5 9B Q4 à 8k tokens :
  ~40 couches × 8 heads × 128 dim × 8192 × 2 × 2
  ≈ 1 Go de VRAM EN PLUS du modèle.

À 32k tokens : ~4 Go supplémentaires.
À 128k : ~16 Go (souvent plus que le modèle lui-même).

#Régler num_ctx (Ollama, LM Studio)

#Ollama

>>> /set parameter num_ctx 16384

FROM qwen3.5:9b
PARAMETER num_ctx 16384

Par défaut Ollama utilise souvent 2048 — ridicule en 2026. Montez systématiquement à 8192 au minimum si votre VRAM suit.

#LM Studio

Panneau de droite, champ Context Length. Le modèle doit être déchargé et rechargé pour prendre en compte la nouvelle taille. LM Studio affiche la consommation VRAM estimée en direct — pratique.

#Le piège du "lost in the middle"

Même dans une fenêtre de 128k, le modèle ne lit pas uniformément : il retient mieux le début et la fin, et perd l'information du milieu. C'est un biais documenté sur tous les modèles actuels.

#Stratégies quand ça déborde

Résumer au fur et à mesure

Toutes les 10 réponses, demander au modèle un résumé concis de la conversation, et repartir avec ce résumé comme contexte.

Découper le document

Un PDF de 200 pages ne passe pas. Chunkez en sections de 1500 tokens, traitez chacune, agrégez les réponses.

RAG

Quand vous avez beaucoup plus de doc que de contexte, c'est le signal qu'il faut passer à un RAG (récupérer les 5 passages pertinents au lieu de tout envoyer).

Modèle à plus grand contexte

Granite 4.2 8B tourne en 128k, Qwen 3.5 9B en 256k natif. Accepter un 9B au lieu d'un modèle plus lourd pour gagner sur le contexte, c'est souvent le bon arbitrage.