ARC-AGI 2 : tester le raisonnement des LLM open-source

Le ARC-AGI 2 benchmark est devenu en 2025 la référence pour mesurer la généralisation et le raisonnement abstrait des LLM open-weights, bien au-delà des QCM classiques type MMLU. Conçu par François Chollet et la fondation Arc Prize, le ARC-AGI 2 benchmark soumet les modèles à des puzzles visuels inédits où mémorisation et force brute ne suffisent plus. Cet article passe en revue le protocole d'évaluation, les modèles open-source les mieux placés du catalogue quelllm.fr, leurs coûts matériels en VRAM, et les bonnes pratiques pour reproduire ces tests en local.

Qu'est-ce que ARC-AGI 2 et pourquoi il change la donne

ARC-AGI 2 est la seconde itération de l'Abstraction and Reasoning Corpus, publiée dans le cadre de l'Arc Prize 2025 avec une dotation d'un million de dollars. Le jeu contient environ 1 000 tâches publiques d'entraînement, 400 tâches d'évaluation publique et 100 tâches privées de test final. Chaque tâche est constituée d'une grille colorée d'entrée et d'une grille de sortie, accompagnée de 2 à 5 exemples. Le modèle doit déduire la règle de transformation puis l'appliquer à un nouveau cas.

Contrairement à MMLU ou HumanEval, ARC-AGI 2 ne récompense ni la culture générale ni le pattern matching syntaxique. Il cible le raisonnement LLM à proprement parler : composition de règles, manipulation d'objets, symétrie, dénombrement. Selon le papier fondateur de Chollet (arXiv:1911.01547), un humain non entraîné dépasse 80 % de réussite ; les meilleurs LLM open-source plafonnaient à 5-15 % début 2025.

Pour comprendre la place de ce benchmark dans l'écosystème, voir notre guide des benchmarks LLM 2025.

Protocole d'évaluation : ce que mesure vraiment ARC-AGI 2

Le protocole officiel impose deux contraintes qui distinguent ARC-AGI 2 des benchmarks habituels :

• Aucune contamination de données : les 100 tâches privées ne sont jamais publiées sur internet, ce qui empêche tout pré-entraînement biaisé.
• Budget de calcul plafonné : chaque soumission est limitée en compute pour décourager le brute force coûteux.

Le score officiel correspond au pourcentage de tâches résolues avec deux tentatives autorisées (pass@2). Le format d'entrée recommandé est une grille ASCII ou JSON avec un encodage couleur de 0 à 9. Le dépôt GitHub officiel arc-prize/ARC-AGI-2 fournit les scripts d'évaluation, les harnais Python et les baselines de référence.

Trois familles d'approches dominent les soumissions open-source :

• Prompting direct avec chain-of-thought structuré
• Test-time training (TTT) : fine-tuning éclair sur les 2-5 exemples avant inférence
• Program synthesis : génération de code Python que le modèle exécute pour produire la grille

Le test-time training donne aujourd'hui les meilleurs résultats, mais consomme 2 à 10× plus de tokens par tâche. L'approche program synthesis a été popularisée par l'équipe MindsAI dans leur soumission 2024 documentée sur le blog Arc Prize.

Modèles open-source candidats : VRAM et licences

Voici les modèles du catalogue quelllm.fr les plus pertinents pour viser un score honorable sur le ARC-AGI 2 benchmark, classés par profil matériel.

Très haut de gamme (≥ 400 GB VRAM Q4) :

• DeepSeek V4 Pro 1.6T — 1600B paramètres, licence MIT, ~960 GB VRAM en Q4, contexte 1 000 000 tokens. Architecture MoE adaptée au raisonnement multi-étapes.
• Kimi K2.6 — 1000B, Modified MIT, ~600 GB Q4. Bons résultats annoncés sur les tâches de planification.
• Ring-1T — 1000B, MIT, ~600 GB Q4, contexte 131 072 tokens, conçu pour le raisonnement long.
• DeepSeek R1 671B — 671B, MIT, ~400 GB Q4. Modèle de raisonnement avec chain-of-thought natif.
• MiMo V2.5 Pro — 1020B, MIT, ~595 GB Q4, contexte 1 M tokens. Intéressant pour les prompts few-shot massifs.

Milieu de gamme accessible aux workstations (60-250 GB Q4) :

• Qwen 3 235B-A22B — 235B, Apache 2.0, ~142 GB Q4, contexte 131 072.
• gpt-oss 120B — 117B, Apache 2.0, ~70 GB Q4. Bon rapport coût/raisonnement.
• Nemotron 3 Super 120B — 120B, NVIDIA Open Model License, ~72 GB Q4.
• Llama 4 Scout 109B — 109B, Llama 4 Community, ~65 GB Q4, contexte étendu jusqu'à 10 M tokens.
• Mistral Small 4 — 119B, Apache 2.0, ~72 GB Q4, contexte 256 000 tokens.

Profil grand public (≤ 50 GB Q4) :

• Qwen3-Coder-Next 80B-A3B — 80B, Apache 2.0, ~48 GB Q4. Pertinent pour l'approche program synthesis.
• DeepSeek R1 Distill Llama 70B — 70B, ~40 GB Q4. Version distillée du raisonnement R1.
• Llama 3.3 70B Instruct — 70B, ~40 GB Q4.

Les valeurs VRAM Q4 sont des estimations basées sur GGUF Q4_K_M ; en Q8 il faut compter ×1,9, en FP16 ×3,8. Ces chiffres restent à confirmer selon le runtime utilisé (llama.cpp, vLLM, SGLang).

Performances attendues et tokens/sec

Aucun score officiel public n'est encore consolidé pour ces modèles sur la version 2 du benchmark — les classements évoluent chaque mois. À titre indicatif, les retours communautaires de l'Arc Prize Leaderboard 2025 placent les modèles à raisonnement explicite (R1, Ring-1T) entre 8 % et 18 % en pass@2 sans TTT, et jusqu'à 25-35 % avec test-time training agressif. Ces chiffres restent à confirmer pour les versions quantifiées Q4.

Côté débit, sur une configuration 2× RTX 6000 Ada (96 GB VRAM totale) avec llama.cpp :

• Llama 3.3 70B Q4 : 18-22 tokens/sec (estimé)
• gpt-oss 120B Q4 : 12-16 tokens/sec (estimé)
• Qwen 3 235B-A22B Q4 : 8-12 tokens/sec en offload partiel CPU

Pour des comparaisons détaillées de raisonnement, consultez DeepSeek R1 vs Llama 3.3 et le top des modèles de raisonnement.

Mise en pratique : reproduire ARC-AGI 2 en local

Pour évaluer un modèle du catalogue sur le ARC-AGI 2 benchmark, le workflow type :

1. Cloner le dépôt officiel arc-prize/ARC-AGI-2 et installer les dépendances Python.
2. Charger le modèle via vLLM ou llama.cpp en mode serveur OpenAI-compatible. La documentation vLLM couvre les modèles MoE comme Qwen 3 235B-A22B.
3. Encoder chaque grille en chaîne ASCII puis construire un prompt avec exemples few-shot.
4. Pour le test-time training, isoler une LoRA rank 16-32 entraînée sur les 2-5 démonstrations de chaque tâche (overhead de 30-90 secondes par tâche). La librairie PEFT de HuggingFace couvre ce cas d'usage.
5. Évaluer avec le script scoring.py fourni, qui calcule pass@1 et pass@2.

Les modèles avec contexte long comme MiMo V2.5 Pro (1 M tokens) ou Llama 4 Maverick 400B (1 M tokens) permettent d'injecter de nombreux exemples sans truncation, ce qui aide sur les tâches à règles composites.

Pour dimensionner votre matériel, le configurateur quelllm.fr calcule la VRAM nécessaire selon la quantification cible.

Erreurs typiques sur ARC-AGI 2 et angles d'attaque

L'analyse des soumissions ratées sur le dépôt arc-prize/ARC-AGI-2 révèle trois familles de bugs récurrents chez les LLM open-source :

• Hallucination de couleur : le modèle invente une couleur absente du palette 0-9. Mitigation : contraindre la sortie via grammaire JSON typée (logits processor sous vLLM).
• Inversion lignes/colonnes : confusion entre dimensions sur les grilles non carrées. Mitigation : annoter H × L dans le prompt.
• Sur-généralisation : application d'une règle correcte sur les exemples mais qui rate la nuance du cas test. Mitigation : forcer une étape <verification> après chain-of-thought.

Pour des angles d'attaque alternatifs, le travail de l'équipe Greenblatt (sample-then-filter avec Claude Sonnet, voir arXiv:2406.07394) montre qu'un modèle plus petit avec génération massive (1000+ programmes Python sample-and-test) peut surpasser un modèle plus gros en single-shot. Cette logique se transpose bien à Qwen3-Coder-Next 80B-A3B, qui excelle en program synthesis.

Comparaison rapide avec ARC-AGI 1

ARC-AGI 1 (2019) était saturé fin 2024 par des solutions hybrides à plus de 55 %. ARC-AGI 2 redurcit volontairement la difficulté avec quatre changements :

• Tâches composites combinant 2 à 4 transformations primitives au lieu d'une seule.
• Grilles plus grandes (jusqu'à 30×30 contre 15×15 en v1).
• Suppression des biais statistiques qui permettaient le brute force par énumération.
• Tâches privées renouvelées pour 2025-2026, dont 50 conçues par des humains experts en raisonnement visuel.

Le résultat : les meilleures soumissions plafonnent à ~30 % en 2025 alors qu'elles dépassaient 60 % sur v1. Pour creuser le sujet voir aussi le guide LLM raisonnement vs mathématiques et la fiche DeepSeek R1 vs Ring-1T.

FAQ

Q : Quel modèle open-source obtient le meilleur score ARC-AGI 2 fin 2025 ?

À la date de rédaction, aucun classement officiel ne fige le podium open-source. Les soumissions communautaires placent DeepSeek R1 671B et Ring-1T en tête grâce à leur chain-of-thought natif. Les chiffres exacts restent à confirmer car le leaderboard est mis à jour mensuellement par l'équipe Arc Prize.

Q : Faut-il un modèle de raisonnement ou un modèle généraliste ?

Les modèles à raisonnement explicite (R1, Ring-1T, gpt-oss 120B) surperforment systématiquement les généralistes équivalents en paramètres. Sur ARC-AGI 2, le coût additionnel en tokens de réflexion (souvent ×3 à ×10) est largement compensé par le gain en pass@2. Un Llama 3.3 70B standard reste limité face à un DeepSeek R1 Distill Llama 70B.

Q : Quelle VRAM minimum pour tenter le benchmark sérieusement ?

Avec 40 GB de VRAM (RTX 6000 Ada ou A6000), vous pouvez faire tourner DeepSeek R1 Distill Llama 70B en Q4 et viser un score honnête. Pour atteindre la frontière open-source, il faut viser 250+ GB cumulés (multi-GPU ou offload CPU agressif) pour des modèles comme Qwen 3 235B-A22B.

Q : Le test-time training apporte-t-il un gain réel ?

Sans TTT, le raisonnement LLM repose uniquement sur l'inférence in-context. Avec une LoRA rapide entraînée sur les démonstrations de chaque tâche, on observe des gains de 8 à 15 points de pourcentage. La contrepartie est un coût compute multiplié par 5 à 10 et une complexité d'implémentation accrue. Pour un premier test, restez sur du prompting direct.

Q : Quelle licence pour usage commercial ?

Privilégiez les licences permissives. Qwen 3 235B-A22B, gpt-oss 120B, Ring-1T et DeepSeek R1 671B sont sous Apache 2.0 ou MIT, sans restriction d'usage commercial. Évitez Command R+ 104B en CC-BY-NC 4.0 pour un produit payant.

Q : Où trouver les datasets et scripts officiels ?

Tout est centralisé sur le dépôt GitHub arc-prize/ARC-AGI-2 et sur HuggingFace datasets/arc-prize. Le format JSON est documenté et stable depuis la première itération de 2019.

Conclusion

Le ARC-AGI 2 benchmark restera en 2026 l'un des rares tests résistants à la contamination et à la mémorisation, ce qui en fait un outil précieux pour qui veut comparer objectivement le raisonnement des LLM open-source. Avant de lancer une évaluation, dimensionnez précisément vos GPU avec le configurateur quelllm.fr ou parcourez le catalogue complet pour repérer le modèle le mieux adapté à votre budget VRAM et à votre licence cible.