Comprendre la fenêtre de contexte

#Qu'est-ce que la fenêtre de contexte ?

C'est le nombre maximum de tokens que le modèle peut "voir" en même temps : system prompt + historique de conversation + votre dernière question + la réponse qu'il est en train d'écrire. Tout s'additionne.

#Le token, unité de base

Un token n'est pas un mot. C'est un morceau de texte de 1 à 7 caractères typiquement, avec la ponctuation et les espaces inclus. Le mot "bonjour" fait 1 token. "anticonstitutionnellement" en fait 6.

Règle de pouce

1 token ≈ 4 caractères en anglais, ≈ 3 caractères en français (le français utilise plus de tokens à volume égal).

1 page A4

~500 mots ≈ 700 tokens en anglais, ≈ 900 tokens en français.

1 livre moyen

~80 000 mots ≈ 120 000 tokens en français. Hors de toute fenêtre pour un LLM local.

>>> /show info
# regardez la ligne context length

# Ou via l'API :
curl http://localhost:11434/api/tokenize \
  -d '{"model":"mistral","text":"Bonjour le monde"}'

#Tailles typiques en 2026

2 048 tokens

Vieux modèles (Llama 2 de base). Une longue conversation le sature vite.

4 096 / 8 192

Défaut de la plupart des Ollama en 2025. Un PDF moyen passe, une conversation longue pas.

32 000

Llama 3.1, Qwen 2.5. Confortable pour tout usage quotidien.

128 000

Llama 3.1 étendu, Mistral Large, Qwen 2.5 max. Un roman entier y rentre.

1 000 000+

Claude 4.7, Gemini 1.5. Pas encore courant en local mais ça arrive.

#Combien ça coûte en VRAM ?

La fenêtre de contexte est stockée dans le KV cache — un gros tableau de clés/valeurs à chaque couche du transformer. Ça monte vite.

KV cache (Go) ≈ n_couches × n_heads × dim_head × contexte × 2 × 2 bytes
                 / (1024^3)

Exemple Mistral 7B Q4 à 8k tokens :
  32 couches × 8 heads × 128 dim × 8192 × 2 × 2
  ≈ 1 Go de VRAM EN PLUS du modèle.

À 32k tokens : ~4 Go supplémentaires.
À 128k : ~16 Go (souvent plus que le modèle lui-même).

#Régler num_ctx (Ollama, LM Studio)

#Ollama

>>> /set parameter num_ctx 16384

FROM mistral
PARAMETER num_ctx 16384

Par défaut Ollama utilise souvent 2048 — ridicule en 2026. Montez systématiquement à 8192 au minimum si votre VRAM suit.

#LM Studio

Panneau de droite, champ Context Length. Le modèle doit être déchargé et rechargé pour prendre en compte la nouvelle taille. LM Studio affiche la consommation VRAM estimée en direct — pratique.

#Le piège du "lost in the middle"

Même dans une fenêtre de 128k, le modèle ne lit pas uniformément : il retient mieux le début et la fin, et perd l'information du milieu. C'est un biais documenté sur tous les modèles actuels.

#Stratégies quand ça déborde

Résumer au fur et à mesure

Toutes les 10 réponses, demander au modèle un résumé concis de la conversation, et repartir avec ce résumé comme contexte.

Découper le document

Un PDF de 200 pages ne passe pas. Chunkez en sections de 1500 tokens, traitez chacune, agrégez les réponses.

RAG

Quand vous avez beaucoup plus de doc que de contexte, c'est le signal qu'il faut passer à un RAG (récupérer les 5 passages pertinents au lieu de tout envoyer).

Modèle à plus grand contexte

Llama 3.1 et Qwen 2.5 tournent en 128k. Accepter un 8B au lieu d'un 13B pour gagner 4x sur le contexte, c'est souvent le bon arbitrage.