MMLU-Pro : le benchmark de connaissances pour LLM locaux

Le MMLU-Pro benchmark est devenu la référence pour évaluer la profondeur des connaissances et la capacité de raisonnement des modèles open-weights exécutés en local. Publié en 2024 par TIGER-Lab, ce MMLU-Pro benchmark corrige les faiblesses du MMLU original (saturation, questions ambiguës, choix multiples trop devinables) en introduisant 12 032 questions à 10 options réparties sur 14 disciplines. Cet article détaille le protocole, les scores observés sur les modèles du catalogue quelllm.fr, l'impact de la quantification sur les résultats, et la méthode pour reproduire le benchmark chez soi sur GPU grand public ou workstation.

Pourquoi MMLU-Pro a remplacé MMLU dans les évaluations sérieuses

Le MMLU classique (Hendrycks et al., 2020) plafonne autour de 88-90 % pour les meilleurs modèles, ce qui rend la discrimination quasi impossible entre les modèles frontières. Le papier arXiv 2406.01574 introduit trois corrections majeures :

• 10 options par question au lieu de 4 : la probabilité de réussite aléatoire passe de 25 % à 10 %, ce qui élargit l'amplitude des scores.
• Filtrage manuel des questions ambiguës : environ 5 000 questions issues du MMLU original ont été éliminées ou reformulées par des experts.
• Ajout de questions à fort coefficient de raisonnement : intégration de problèmes issus de STEM (TheoremQA, SciBench) qui demandent un calcul multi-étapes plutôt qu'une simple récupération mémorielle.

Résultat : le score moyen baisse de 15 à 25 points par rapport à MMLU. Un modèle qui obtient 86 % sur MMLU descend typiquement autour de 66 % sur MMLU-Pro. Cette compression vers le bas redonne du sens à la mesure pour comparer des modèles open-weights modernes.

Le jeu de données complet est hébergé sur HuggingFace TIGER-Lab/MMLU-Pro et l'évaluation de référence se fait via le dépôt GitHub officiel.

Scores MMLU-Pro observés sur le catalogue quelllm.fr

Les scores ci-dessous sont issus du leaderboard officiel TIGER-Lab et de rapports techniques des éditeurs. Les valeurs marquées "estimé" proviennent de mesures communautaires partielles à confirmer.

• DeepSeek V3 671B : 75,9 % — meilleur score open-weights généraliste relevé à fin 2024. Fiche complète sur /modele/deepseek-v3-671b.
• DeepSeek R1 671B : 84,0 % (raisonnement activé) — gain de ~8 points grâce au chain-of-thought interne. Détails sur /modele/deepseek-r1-671b.
• Qwen 3 235B-A22B : 72,1 % estimé — architecture MoE, voir /modele/qwen3-235b-a22b.
• Llama 3.1 405B Instruct : 73,3 % — référence Meta, fiche /modele/llama-3-1-405b.
• Llama 3.3 70B Instruct : 68,9 % — meilleur rapport perfs/VRAM pour postes à 40 Go, fiche /modele/llama33-70b.
• Mistral Large 3 675B : 71,5 % estimé — voir /modele/mistral-large-3.
• gpt-oss 120B : 70,2 % estimé — variante distillée OpenAI, fiche /modele/gpt-oss-120b.
• Qwen 2.5 72B Instruct : 65,4 % — base solide multilingue, fiche /modele/qwen25-72b.
• Mixtral 8x22B Instruct : 56,2 % — historique mais encore pertinent pour comparaison, fiche /modele/mixtral-8x22b.

Les écarts entre catégories (droit, médecine, ingénierie) peuvent atteindre 20 points pour un même modèle : un score moyen masque souvent une faiblesse disciplinaire.

Impact de la quantification sur le MMLU score LLM

La quantification réduit la VRAM mais dégrade les scores. Les mesures empiriques sur les modèles du catalogue donnent ces ordres de grandeur (sources : llama.cpp issues, rapports Unsloth) :

• FP16 → Q8_0 : perte < 0,5 point sur MMLU-Pro, généralement non significative.
• Q8 → Q5_K_M : perte 1 à 2 points selon les disciplines (mathématiques davantage touchées).
• Q5 → Q4_K_M : perte 2 à 4 points, plus marquée sur les questions de raisonnement multi-étapes.
• Q4 → Q3 : effondrement possible (> 5 points), à éviter pour des usages exigeants.

Pour Llama 3.3 70B Instruct, par exemple, on observe une chute de ~68 % en FP16 à ~64 % en Q4_K_M sur le sous-ensemble "law". Sur Qwen 2.5 72B Instruct, l'écart est plus contenu (1,5 point). La règle pratique : Q5_K_M reste le meilleur compromis pour les évaluations sérieuses, Q4 convient pour l'usage quotidien.

Voir le guide quantification GGUF pour le détail des formats.

VRAM et coût matériel pour faire tourner le knowledge benchmark

Reproduire MMLU-Pro localement demande de charger le modèle en mémoire et de générer environ 12 032 réponses (avec CoT, cela représente 5 à 10 millions de tokens en sortie). Coût matériel par tranche :

• 24 Go VRAM (RTX 4090) : limite à des modèles ~30B en Q4 ; pas d'accès aux gros modèles open-weights.
• 48 Go VRAM (2× RTX 4090 ou RTX 6000 Ada) : permet Llama 3.3 70B Instruct en Q4 (~40 Go), Qwen 2.5 72B Instruct (~42 Go), Qwen3-Coder-Next 80B-A3B (~48 Go).
• 96 Go VRAM (2× RTX 6000 Ada) : ouvre Mixtral 8x22B Instruct (~82 Go), gpt-oss 120B (~70 Go), Mistral Small 4 (~72 Go).
• 160-200 Go VRAM (4-5× RTX 6000 Ada ou H100) : Llama 3.1 405B Instruct en Q4 (~240 Go avec offloading CPU), Qwen 3 235B-A22B (~142 Go).
• 400+ Go VRAM (cluster H100/H200) : DeepSeek V3 671B, DeepSeek R1 671B, Kimi K2.5 et au-delà.

Un benchmark complet sur un 70B en Q4 prend 4 à 8 heures sur RTX 6000 Ada selon le débit (~25-35 tokens/sec). Pour calibrer votre setup, l'outil /configurateur propose le matériel adapté à un budget VRAM cible.

Méthode pour reproduire le benchmark localement

Le protocole standard utilise vllm ou llama.cpp en backend, avec le script Python officiel du dépôt TIGER-AI-Lab.

Étapes principales :

1. Téléchargement du dataset depuis HuggingFace (environ 12 Mo).
2. Configuration du modèle en mode chat completion avec température 0 et top-p 1. Le prompt système doit inclure 5 exemples few-shot par catégorie (CoT activé).
3. Lancement de l'évaluation discipline par discipline (14 catégories : biology, business, chemistry, computer_science, economics, engineering, health, history, law, math, other, philosophy, physics, psychology).
4. Parsing des réponses : extraction de la lettre finale (A à J) via regex sur la dernière ligne.
5. Calcul du score pondéré par catégorie ou moyen global.

Détails complets dans le README GitHub. Pour comparer deux modèles côte à côte, voir /compare/llama33-70b-vs-qwen25-72b ou consulter le classement général sur /meilleur-llm/raisonnement.

Limites du MMLU-Pro et benchmarks complémentaires

Aucun benchmark n'est suffisant à lui seul. MMLU-Pro mesure des connaissances académiques et un raisonnement structuré, mais ne couvre pas :

• Le code : utiliser HumanEval, MBPP, ou LiveCodeBench. Le modèle Qwen3-Coder-Next 80B-A3B est conçu pour cette catégorie (fiche).
• Les mathématiques avancées : AIME, MATH, GSM8K restent indispensables. DeepSeek R1 671B brille particulièrement ici.
• Le multilingue : MGSM, Multilingual MMLU, Belebele pour le français. Mistral Large 3 675B et Rakuten AI 3.0 sont mieux évalués sur ces axes.
• Le contexte long : RULER, LongBench. Llama 4 Scout 109B (10M tokens de contexte) ou MiMo V2.5 Pro (1M tokens) sont les références ici.
• L'agentique : SWE-bench, BFCL, AgentBench.

Une suite de tests robuste combine au minimum MMLU-Pro + HumanEval + GSM8K + un benchmark agentique.

FAQ

Q : Quelle est la différence pratique entre MMLU et MMLU-Pro ?

MMLU comporte 4 options par question et sature au-dessus de 88 %. MMLU-Pro passe à 10 options, filtre les questions ambiguës, et intègre du raisonnement multi-étapes. Résultat : les scores baissent de 15 à 25 points, ce qui redonne de la discrimination. Pour un usage 2025+, MMLU-Pro est désormais la référence dans les rapports techniques des éditeurs.

Q : Faut-il activer le chain-of-thought pour évaluer un modèle ?

Oui pour les benchmarks comparatifs, car le protocole officiel MMLU-Pro l'utilise. Sans CoT, les scores chutent de 5 à 15 points selon le modèle. Sur DeepSeek R1 671B, le mode raisonnement gagne ~8 points par rapport à un appel direct. Pour mesurer la pertinence en production sans CoT, lancez l'évaluation en mode "answer only" séparément.

Q : Puis-je faire tourner le knowledge benchmark sur un Mac M4 ?

Oui, via llama.cpp ou MLX. Un Mac Studio M4 Max 128 Go fait tourner Llama 3.3 70B Instruct en Q4 (~40 Go) à 8-12 tokens/sec, soit 6 à 10 heures pour le benchmark complet. Les modèles au-delà de 100B nécessitent un M4 Ultra 192 Go ou un offloading SSD très lent. Voir le guide Mac Apple Silicon pour les configurations recommandées.

Q : Le score MMLU-Pro est-il fiable pour choisir un modèle métier ?

Partiellement. MMLU-Pro reflète bien la capacité généraliste, mais un score global de 70 % peut masquer 55 % en droit et 82 % en physique. Si votre cas d'usage cible une discipline précise, regardez le score par catégorie publié dans le leaderboard. Pour un usage code ou juridique francophone, complétez avec HumanEval-FR et un test interne sur vos propres données.

Q : Quelle licence pour les modèles top du benchmark ?

Les meilleurs scores open-weights viennent de modèles sous licences permissives : DeepSeek V3 671B (DeepSeek License), DeepSeek R1 671B (MIT), Qwen 3 235B-A22B (Apache 2.0), Mistral Large 3 675B (Apache 2.0). À noter : Llama 3.1 405B Instruct est sous Llama 3.1 Community (restrictions au-delà de 700M MAU). Vérifiez chaque licence avant un déploiement commercial.

Q : Combien coûte une évaluation complète sur GPU loué ?

À 2 €/h pour une H100 80 Go via un cloud bare-metal, un benchmark MMLU-Pro complet sur un 70B en Q4 coûte 8 à 16 € selon le débit. Pour un 405B en Q4 nécessitant 4 H100, comptez 80 à 160 €. C'est nettement moins cher que d'acheter le hardware, mais l'inférence locale reste pertinente pour des évaluations répétées ou des données sensibles.

Conclusion

Le MMLU-Pro benchmark offre aujourd'hui la mesure la plus discriminante des connaissances et du raisonnement pour les LLM open-weights. Combiné à des benchmarks spécialisés (HumanEval, AIME, LongBench), il permet de cadrer objectivement un choix de modèle. Pour identifier la configuration matérielle qui vous permet de faire tourner les meilleurs modèles du classement, passez par le configurateur quelllm.fr ou explorez les 249 modèles indexés sur le catalogue complet.