QuelLLM.fr

Benchmark des LLM locaux : MMLU, HumanEval, AIME 2026

Un benchmark LLM local lu hors méthodologie revient à comparer deux temps de marathon sans le profil altimétrique du parcours. Deux modèles annoncés à 88 points sur MMLU peuvent diverger de 16 points sur MMLU-Pro et de 30 points sur AIME 2026 selon la présence d'un entraînement chain-of-thought, le format de quantification, le protocole de décodage (cons@64 vs pass@1 strict) et la version exacte du dataset chargé. Cette page n'est pas un guide d'achat : c'est une grille d'audit des trois suites historiques (MMLU/MMLU-Pro, HumanEval/HumanEval+, AIME 2024/2025/2026), avec scores publiés, conditions de reproductibilité, coût VRAM Q4 mesuré, débits tokens/seconde sur configurations réelles et inventaire des biais que les communiqués vendeur passent sous silence. L'objectif est outillé : permettre de réexécuter un chiffre soi-même avec une seed fixée, pas d'arbitrer entre modèles propriétaires et open-weights.

Pourquoi la grille de lecture 2026 invalide les benchmarks pré-2024

L'écosystème a basculé en deux ans. MMLU à 4 choix saturait dès Llama 3.1 405B à 88.6, et les architectures à activation experte (DeepSeek V3, Qwen 3, GLM-5.1) frôlent désormais le plafond ; lire un score MMLU au demi-point près est devenu sans valeur informationnelle. Trois mutations structurelles ont rebattu la matrice :

  1. Modèles de raisonnement entraînés en RL (DeepSeek R1, Ring-1T, gpt-oss 120B avec thinking activable) qui transforment AIME et MATH-500 en discriminateurs de premier plan. Sur AIME 2024, l'écart Llama 3.1 405B (~23 pass@1) vs DeepSeek R1 671B (~79 pass@1) atteint 55 points — un delta impossible à observer sur MMLU.
  2. Décompte paramètres totaux vs paramètres actifs. Qwen 3 235B-A22B n'active que 22B paramètres par token, MiniMax-M2.7 suit la même logique MoE. Le benchmark doit s'interpréter à coût d'inférence équivalent (tokens/seconde × VRAM), pas à nombre de paramètres totaux affichés.
  3. Suites anti-contamination. LiveBench renouvelle ses items chaque mois, LiveCodeBench horodate les problèmes Codeforces pour isoler ceux postérieurs à la coupure pré-entraînement, SimpleBench mesure la robustesse du sens commun là où MMLU plafonne. La HuggingFace Open LLM Leaderboard v2 a explicitement migré vers MMLU-Pro, GPQA, MUSR et IFEval pour cette raison.

Lire un score isolé n'informe plus rien : seule la matrice {MMLU-Pro, HumanEval+, AIME 2026, SWE-bench Verified, RULER 128k, GPQA Diamond} ramène du signal. Le guide /guide/matrice-benchmarks-2026 explicite la pondération recommandée.

Méthodologie : ce que mesure réellement chaque suite

Le MMLU LLM (Massive Multitask Language Understanding, Hendrycks et al. 2021) couvre 57 disciplines (médecine, droit, éthique, mathématiques élémentaires) en QCM à 4 choix, protocole 5-shot standard. Repo de référence : GitHub Hendrycks, papier arXiv:2009.03300. Au-delà de 85 %, il a été supplanté par MMLU-Pro (10 choix, raisonnement multi-étapes, 12 032 items) sur HuggingFace TIGER-Lab, avec une chute typique de 15 à 25 points par rapport à MMLU classique. Variante émergente : MMLU-Redux (papier arXiv:2406.04127) corrige environ 6,5 % d'items reconnus erronés ou ambigus du set original — un point rarement souligné qui explique pourquoi deux runs identiques peuvent diverger de 1 à 2 points selon la version chargée. Pour les filtres et la procédure d'évaluation, voir /guide/mmlu-pro-protocole-strict.

HumanEval, publié par OpenAI (arXiv:2107.03374), évalue 164 problèmes Python avec signatures de fonctions et tests unitaires. Le métrique standard est pass@1 mais pass@10 et pass@100 requièrent respectivement 10 et 100 échantillons par problème, multipliant le coût d'évaluation d'autant. Son successeur HumanEval+ (evalplus) ajoute environ 80× plus de cas de test générés par mutation ; les modèles surentraînés perdent typiquement 5 à 10 points entre les deux versions, ce qui révèle directement le degré d'overfit sur les tests originaux. Pour aller plus loin sur le code réel, SWE-bench Verified mesure la résolution d'issues GitHub authentiques (500 tickets validés humainement) et LiveCodeBench maintient un flux de problèmes Codeforces horodatés filtrables par date. La procédure complète d'extraction sur HumanEval+ est traitée dans /guide/humaneval-plus-protocole.

AIME 2024 LLM correspond aux 15 problèmes annuels de l'American Invitational Mathematics Examination (deux sessions, AIME I et II), réponses entières entre 0 et 999. Devenu central avec les modèles de raisonnement, il discrimine fortement entre architectures avec ou sans chain-of-thought entraîné en RL. Le set 2024 est référencé dans la model card DeepSeek R1. AIME 2025 (mars 2025) puis AIME 2026 (février 2026) servent désormais d'épreuve fraîche car les énoncés 2024 ont été massivement indexés. Les rapports techniques de fin 2025 utilisent souvent cons@64 (majority voting sur 64 échantillons, température 0.6, top-p 0.95) ce qui peut gonfler le score brut de 10 à 15 points par rapport à un pass@1 strict à température 0.

Au-delà de ces trois piliers, la grille 2026 ajoute GPQA Diamond (198 questions niveau doctoral validées par experts), MATH-500 (problèmes olympiades), MuSR (raisonnement narratif multi-étape), RULER (long-context retrieval jusqu'à 1M tokens), IFEval (suivi d'instructions strictes), BFCL v3 (Berkeley Function Calling Leaderboard) pour le tool-calling structuré. Les rapports techniques sérieux publient désormais cette matrice complète plutôt qu'un score MMLU isolé.

Scores publiés : lecture comparative à matériel équivalent

Les chiffres ci-dessous proviennent des fiches techniques officielles ou des rapports HuggingFace. Ils restent à reproduire via lm-evaluation-harness d'EleutherAI, seul protocole indépendant faisant autorité dans la communauté open-source.

Tier S — modèles frontière de raisonnement (> 600B paramètres) :

Tier A — exécutable sur 1 à 4 GPU haut de gamme (100B à 400B) :

Tier B — station de travail unique (40 à 80 GB VRAM) :

Comparatifs serrés disponibles sur /compare/deepseek-r1-distill-llama-70b-vs-llama33-70b et /compare/qwen3-235b-a22b-vs-llama-3-1-405b.

Coût matériel détaillé : VRAM, quantifications, débits mesurés

Un score brut ne vaut rien sans le coût d'inférence associé. Les valeurs ci-dessous correspondent au format Q4_K_M de llama.cpp. Les conversions vers Q5_K_M, Q8_0 ou FP16 multiplient la VRAM par approximativement 1.25, 2 et 4. La calculatrice quelllm.fr/configurateur filtre par budget GPU.

Modèle Q4 VRAM Configuration cible Débit indicatif Q4
DeepSeek V4 Pro 1.6T ~960 GB 8×H200 141 GB, pod TPU v5p 15-20 tok/s tensor-parallel
MiMo V2.5 Pro 1020B ~595 GB 8×H100 80 GB tensor-parallel 20-30 tok/s
Mistral Large 3 675B ~405 GB 6×H100 80 GB ou 4×H200 25-35 tok/s
Llama 3.1 405B ~240 GB 4×A100 80 GB ou 3×H100 20-30 tok/s
Qwen 3 235B-A22B ~142 GB 2×H100 ou 1×H200 141 GB 40-60 tok/s (MoE)
Hunyuan Large 2.0 ~245 GB 3×H100 80 GB 25-30 tok/s
gpt-oss 120B ~70 GB 1×H100, Mac Studio M3 Ultra 192 GB 35-50 tok/s
Mistral Small 4 119B ~72 GB 1×H100, A100 80 GB 30-45 tok/s
Llama 3.3 70B ~40 GB RTX A6000 48 GB, 2×RTX 4090 15-25 tok/s sur 2×4090
DBRX Instruct 132B ~76 GB 1×H100, 2×A100 40 GB 30-40 tok/s

Les chiffres sont des ordres de grandeur en single-batch ; les déploiements multi-tenant avec vLLM ou SGLang tirent jusqu'à 5× plus de throughput agrégé via continuous batching et prefix caching. Sur Mac Studio M3 Ultra (bande passante mémoire 800 GB/s), Llama 3.3 70B en Q4_K_M atteint 8 à 12 tok/s en single-stream selon la longueur de contexte effective. Les architectures MoE (Mixtral 8x22B, Qwen 3, DeepSeek V3) bénéficient particulièrement de SGLang grâce au routage expert mutualisé en batch. Le guide /guide/quantization-q4-q5-q8 détaille les arbitrages qualité/VRAM et /guide/inference-vllm-vs-llamacpp compare les moteurs en profondeur. Pour benchmarker votre propre setup, voir /guide/bench-tokens-par-seconde.

Trois biais qui faussent l'interprétation des classements

  1. Contamination des datasets. MMLU et HumanEval circulent depuis 2021 ; certains modèles ont vu les questions en pré-entraînement, ce qui gonfle artificiellement les scores. Le travail LiveCodeBench propose un suivi temporel des problèmes pour HumanEval afin d'isoler ceux postérieurs à la coupure pré-entraînement. La détection de contamination par n-gram overlap (méthode arXiv:2311.04850) montre que jusqu'à 12 % des items MMLU apparaissent textuellement dans les corpus web indexés.
  2. Variance du décodage. Un score AIME pass@1 calculé avec température 0.6 et 64 échantillons (cons@64, majority voting) peut différer de 10 points d'un pass@1 strict à température 0. Sur GSM8K, l'écart self-consistency atteint 5 à 8 points selon le nombre d'échantillons. Toujours vérifier temperature, top_p, max_tokens, nombre d'échantillons et règle d'agrégation dans la model card ou le rapport technique.
  3. Prompts spécifiques. Les rapports DeepSeek, Qwen et Mistral utilisent souvent des prompts système optimisés, parfois avec few-shot manuel curé. Reproduire les chiffres en zero-shot brut donne typiquement 3 à 8 points de moins, parfois davantage sur les suites de raisonnement. Pour AIME, l'ajout d'un préfixe "Let's think step by step" peut décaler le score de 4 à 6 points sur les modèles sans thinking entraîné.

Les benchmarks orientés tâche utilisateur — LMArena (anciennement Chatbot Arena), LiveBench, SWE-bench Verified — apportent un complément moins manipulable. SWE-bench reste la référence pour évaluer un modèle agentique sur du code réel : DeepSeek V3.2 et Qwen3-Coder-Next 80B-A3B y obtiennent des scores supérieurs à 40 %, valeurs à confirmer sur le leaderboard mis à jour. BFCL v3 ajoute la dimension tool-calling structuré utile pour les déploiements agentiques.

Reproduire un benchmark de bout en bout : procédure type

Pour produire un score AIME 2026 défendable sur, par exemple, DeepSeek R1 Distill Llama 70B :

  1. Récupérer les poids sur HuggingFace (# HuggingFace : deepseek-ai/DeepSeek-R1-Distill-Llama-70B) puis convertir en GGUF Q4_K_M via llama.cpp/convert_hf_to_gguf.py si vous ciblez CPU/Apple, ou rester en safetensors pour vLLM.
  2. Fixer les hyperparamètres : température 0.6, top-p 0.95, max_tokens 32768 (le modèle doit raisonner longuement), seed enregistrée pour reproductibilité.
  3. Charger le set AIME 2026 depuis un dataset HuggingFace mis à jour. Vérifier que l'éditeur n'a pas inclus la solution dans le prompt par mégarde — défaut fréquent sur les forks récents.
  4. Générer 64 complétions par problème pour cons@64, et 1 complétion à température 0 pour pass@1 strict.
  5. Extraire la réponse finale via regex sur la balise \boxed{} ou la dernière séquence de 1 à 3 chiffres. Gérer le cas où le modèle emet plusieurs balises <thinking> imbriquées.
  6. Comparer aux solutions officielles AIME (entier 0-999), publier script et seed.

Compter environ 6 à 10 heures sur 2×H100 pour un 70B en cons@64 sur les 15 problèmes AIME 2026. Le guide /guide/reproduire-benchmark-aime détaille les pièges d'extraction de réponse, notamment la gestion des balises <thinking> chez les modèles de raisonnement et la normalisation des fractions sortantes.

Études de cas chiffrées : trois scénarios concrets

Scénario A — laboratoire universitaire avec 4×A100 80 GB pour l'évaluation du raisonnement mathématique. Objectif : produire une courbe AIME 2024/2025/2026 reproductible. Bon choix : DeepSeek R1 Distill Llama 70B en Q8_0 (140 GB, deux GPU), comparé à Llama 3.3 70B sans reasoning sur les deux GPU restants pour mesurer l'apport pur du chain-of-thought. Coût d'un cycle complet cons@64 sur les 45 problèmes (AIME 2024 + 2025 + 2026) : environ 30 heures GPU. Voir /compare/deepseek-r1-distill-llama-70b-vs-llama33-70b.

Scénario B — startup avec 1×H100 80 GB pour benchmarker un assistant de code. Trois candidats face à face : Qwen3-Coder-Next 80B-A3B, gpt-oss 120B et Mistral Small 4 119B. Protocole : HumanEval+ pass@1, MBPP+ pass@1, LiveCodeBench filtré sur problèmes postérieurs à octobre 2024, SWE-bench Verified Lite (50 issues). Le débit MoE de Qwen3-Coder-Next (3B actifs) permet typiquement 3× plus de candidats par heure que les denses à VRAM comparable, ce qui réduit l'intérêt de la quantification agressive.

Scénario C — équipe data avec Mac Studio M3 Ultra 192 GB. La bande passante mémoire 800 GB/s reste le facteur limitant. Llama 3.3 70B Q5_K_M tient confortablement et délivre 6 à 10 tok/s. Qwen 3 235B-A22B en Q4 entre tout juste avec 142 GB, débit 4-6 tok/s mais qualité supérieure. gpt-oss 120B en Q4 occupe 70 GB et laisse de la marge pour le KV cache long-contexte. Voir /guide/llm-mac-studio-m3-ultra.

Scénario D — benchmarker une régression entre deux checkpoints fine-tunés. Cas industriel typique : un fine-tuning LoRA sur 10k exemples métier sur Llama 3.3 70B. Le risque est la régression catastrophique sur les capacités générales. Protocole minimal : MMLU (5-shot), IFEval, GSM8K, HumanEval+ avant et après fine-tuning, seed identique. Un drop supérieur à 2 points sur 2 des 4 suites signale un sur-apprentissage. Voir /guide/fine-tuning-sans-regression.

Licences et conditions exactes d'usage commercial

Le benchmark LLM local ne sert à rien si la licence interdit le déploiement visé. Quatre familles dominent l'écosystème open-weights de 2026 :

Pour un comparatif détaillé licence par licence, voir /guide/licences-llm-open-source.

Choisir un modèle selon le profil de benchmark visé

FAQ

Q : Quelle est la différence entre MMLU et MMLU-Pro ?

MMLU comporte 4 choix par question et plafonne autour de 88-90 % pour les meilleurs modèles open-weights, ce qui le rend peu discriminant. MMLU-Pro passe à 10 choix, élimine les questions ambiguës et ajoute des items demandant un raisonnement multi-étapes. Les scores chutent typiquement de 15 à 25 points, ce qui restaure le pouvoir discriminant. Pour comparer des modèles modernes type DeepSeek V3.2 ou Qwen 3 235B-A22B, MMLU-Pro est désormais plus pertinent que MMLU classique.

Q : Comment reproduire un score HumanEval localement ?

Installer evalplus, charger le modèle via vLLM ou llama.cpp, générer 1 à 200 complétions par problème selon le métrique visé, puis exécuter les tests Python. Compter une journée GPU pour un modèle 70B en pass@1 sur les 164 problèmes, davantage pour pass@100. Un score à température 0 diffère d'un score moyenné sur plusieurs échantillons : toujours documenter les hyperparamètres et publier le script pour permettre la comparaison croisée.

Q : Faut-il préférer Q4, Q5 ou Q8 pour un benchmark fiable ?

Q4_K_M perd typiquement 1 à 3 points sur MMLU par rapport au FP16, parfois plus sur AIME où le raisonnement long est sensible aux erreurs cumulées. Q5_K_M et Q6_K réduisent l'écart à moins d'un point. Q8_0 est quasi indistinguable du FP16 sur la plupart des suites. Pour benchmarker honnêtement, indiquer toujours la quantification utilisée. Le guide /guide/quantization-q4-q5-q8 détaille les chutes mesurées format par format.

Q : Les scores AIME 2024 sont-ils contaminés ?

Les énoncés AIME 2024 ont été mis en ligne en février 2024 et indexés par les crawlers peu après. Les modèles avec coupure de données postérieure à mi-2024 peuvent donc avoir vu les solutions. Pour cette raison, AIME 2025 et AIME 2026 sont privilégiés dans les évaluations récentes, sous réserve que les modèles n'aient pas été exposés. Toujours vérifier la date de coupure du pré-entraînement annoncée par l'éditeur dans la model card et croiser avec LiveBench pour confirmer.

Q : Quel modèle pour un poste avec 24 GB de VRAM ?

24 GB exclut les modèles 70B+ en Q4 qui demandent 40 GB minimum. Les options viables sont des modèles 30B à 40B en Q4, ou des modèles 70B en quantifications agressives type IQ2_XXS, au prix d'une perte de qualité significative (5 à 10 points sur MMLU). Pour rester en zone de qualité acceptable, viser des modèles 14B à 32B. Voir le configurateur sur /configurateur pour un filtrage par VRAM.

Q : Pourquoi les scores diffèrent-ils entre HuggingFace et les rapports vendeur ?

Les éditeurs optimisent les prompts, utilisent des décodages spécifiques (cons@64, majority voting), et parfois sélectionnent les meilleurs runs sur plusieurs seeds. Les leaderboards indépendants comme HuggingFace Open LLM Leaderboard imposent un protocole uniforme (zero-shot ou few-shot fixe, prompts standardisés). Un écart de 3 à 10 points entre les deux sources est attendu. En production, c'est le protocole reproductible qui compte, pas le chiffre maximal.

Conclusion

Un benchmark LLM local lu sans contexte de licence, de quantification et de protocole de décodage induit en erreur. La méthode robuste consiste à croiser au minimum MMLU-Pro, HumanEval+, AIME 2025/2026 et un benchmark agentique type SWE-bench Verified, en vérifiant la VRAM cible et la licence avant tout engagement. Le périmètre est volontairement restreint ici à la mesure : ce qui compte sur cette page, c'est la capacité à reproduire un chiffre publié, à comprendre sa marge d'erreur et à valider qu'il tient sur votre matériel. Pour filtrer les modèles indexés selon votre budget GPU et votre cas d'usage, lancez le configurateur quelllm.fr ou parcourez le catalogue complet.

Article publié et mis à jour le par Mohamed Meguedmi · Source de données : /api/models.json · Licence contenu : CC BY 4.0.

Une erreur ou une mise à jour à signaler ? Contribuer.