Hub des benchmarks LLM — Comment les modèles d’IA sont mesurés, par capacité
Comment les modèles d’IA sont mesurés, organisés par capacité — les quatre catégories que rapportent les laboratoires de pointe (Programmation, Agentique, Raisonnement & connaissances, Vision) plus les deux qui comptent le plus pour un atelier de matériel : Matériel & conception de PCB, et Tâches du monde réel. Une carte vivante qui relie le classement en direct de chaque benchmark, ancrée par les propres résultats Konduit KiCadBench de D-Central.
Réponse rapide
Les modèles d’IA sont mesurés par capacité, et les catégories que rapportent les laboratoires de pointe — Programmation, Agentique, Raisonnement et connaissances, et Vision — laissent de côté les deux qui comptent le plus pour un atelier de matériel : un modèle peut-il réellement concevoir de l’électronique, et peut-il accomplir un vrai travail à long horizon dans le monde réel. Ce hub organise le domaine selon ces six catégories. Pour les quatre catégories générales, c’est une taxonomie, pas un tableau de scores : chaque benchmark renvoie vers son classement en direct, car les scores de pointe évoluent chaque mois et les figer reviendrait à publier des chiffres faux dès la semaine suivante. La seule catégorie où nous publions des résultats concrets est Matériel et conception de PCB — parce que D-Central a bâti à la fois le benchmark (Konduit KiCadBench) et l’outil MCP KiCad sur lequel il s’exécute, et ces données n’existent nulle part ailleurs.
La conception de matériel est la frontière la moins mesurée de l’évaluation de l’IA. Sur notre classement Konduit de première main, Grok 4.5 est en tête avec un composite de 0.973, seul modèle à réussir chaque tâche de construction de carte en direct ; dans la littérature EE, le plus grand levier est la rétroaction outil-dans-la-boucle (SPICE/ERC), qui fait passer les taux de résolution d’environ 15 % à 91 % — davantage que la taille du modèle. Traitez les chiffres Konduit comme un aperçu directionnel, pas comme une affirmation prête pour la fabrication.
Ceci est une carte de la façon dont les modèles sont mesurés, pas un tableau de scores figé. Pour les quatre catégories générales, chaque benchmark renvoie vers son classement en direct — la source toujours à jour — car les scores de pointe changent chaque mois. Les chiffres concrets n’apparaissent que sous Matériel & conception de PCB, où les données sont les nôtres.
Programmation
Le modèle peut-il écrire et, surtout, CORRIGER du vrai code — corrections de bogues au niveau d’un dépôt dont les correctifs doivent réussir la propre suite de tests du projet, programmation compétitive sous contrôle de contamination, et édition correcte au format diff.
SWE-bench Verified
publicSWE-bench team (Princeton)
500 human-validated real GitHub issues; scores the % where the model's patch makes the repository's own test suite pass. The default "can it fix real code" bar.
The industry's headline agentic-coding number. Live leaderboard — scores move with every model release.
LiveCodeBench
publicLiveCodeBench
Contamination-resistant competitive-programming tasks collected continuously over time: code generation, self-repair, and test-output prediction on problems published after a model's training cut.
Designed so a model can't have seen the problems in training — the honesty control for coding scores.
Terminal-Bench
publicTerminal-Bench
Agentic command-line tasks in a sandboxed shell — build, debug, sysadmin — where the model must operate a real terminal to completion.
On the Kimi K3 card as "Terminal-Bench 2.1." Measures tool-driving, not just code authoring.
Aider Polyglot
publicAider
225 of the hardest Exercism exercises across C++, Go, Java, JavaScript, Python and Rust; tests correct DIFF-format code editing, not greenfield generation.
Edits must apply cleanly to existing files — a stricter, more real-world bar than write-from-scratch.
SciCode
publicSciCode
Research-grade scientific coding problems drawn from real papers across physics, chemistry, biology and materials science.
Used as a component of Artificial Analysis's Intelligence Index.
Agentique
Peut-il PILOTER de façon fiable des outils et des flux de travail en plusieurs étapes — appeler des fonctions correctement, se remettre d’un échec, accomplir des tâches sur de vrais sites web et API. Ici, la fiabilité sur des tentatives répétées (pass^k) compte davantage qu’un seul essai chanceux.
τ-bench (tau-bench)
publicSierra
Tool-agent-user dialogue in retail and airline domains; reports pass^k — reliability across k repeated attempts — not just a single pass@1. Consistency is the whole point.
The benchmark that made "does it work EVERY time" a first-class metric for agents.
τ²-bench (tau2-bench)
publicSierra
Dual-control extension of τ-bench where the USER also takes actions in the environment, forcing genuine coordination rather than one-sided tool use.
Harder successor; the telecom split (τ2-Telecom) is a common heavyweight agentic probe.
UC Berkeley (Gorilla)
Accuracy of function/tool calling across single, parallel, and multi-turn calls plus irrelevance detection (knowing when NOT to call a tool).
The benchmark of record for raw tool-calling. See our companion Agent-Capability Database for the open-weight cut.
GAIA
publicMeta / Hugging Face
466 real-world assistant questions that require web search and tool use, across three difficulty levels; easy for humans, hard for models.
Tests whether an assistant can actually go and find things, not just recall them.
WebArena
publicCarnegie Mellon
Self-hosted, fully functional replicas of real websites (e-commerce, forum, CMS, GitLab); scores task success on multi-step web actions.
Runs against real running sites, so success means the task actually completed end to end.
BrowseComp
publicOpenAI
Hard web-browsing research questions whose answers are buried and require persistent, multi-hop browsing to locate.
On the Kimi K3 card (reported 90.4). A deep-research stress test.
Raisonnement et connaissances
Questions de niveau universitaire supérieur, à l’épreuve de Google, et mathématiques de compétition — sondant un véritable raisonnement et des connaissances d’expert plutôt que la simple récupération d’information. Les plus difficiles sont conçues pour se situer près du plafond de ce que les modèles de pointe peuvent faire.
GPQA Diamond
publicGPQA authors
198 "Google-proof" graduate-level physics, chemistry and biology multiple-choice questions written by domain PhDs to resist quick web lookup.
A staple hard-knowledge probe on every serious 2026 leaderboard.
MMLU-Pro
publicTIGER-Lab
Harder successor to MMLU: ~12,000 questions with 10 answer options and a heavier reasoning weighting to reduce guess-luck.
The reasoning-weighted broad-knowledge baseline once plain MMLU saturated.
Humanity's Last Exam (HLE)
publicCAIS + Scale AI
~2,500 extremely hard expert questions across ~100 subjects, deliberately built to sit near the ceiling of frontier-model capability.
Named for the ambition: the hardest closed-ended exam that still has verifiable answers.
AIME 2025
publicMAA (AMC)
American Invitational Mathematics Examination — 15 integer-answer problems; the standard hard competition-math probe. Use the current year's set to avoid contamination.
Cheap to state, brutal to solve; a clean signal of step-by-step math reasoning.
ARC Prize Foundation
Novel abstract grid puzzles testing fluid reasoning and generalization to unseen patterns — knowledge doesn't help, only reasoning does.
The benchmark specifically built to be easy for humans and hard for pattern-matchers.
Vision
Compréhension multimodale — lire des schémas, des graphiques, des documents et des figures, et raisonner sur ce qui est vu, pas seulement le décrire. Les variantes plus difficiles retirent les raccourcis textuels pour forcer le modèle à réellement regarder.
MMMU
publicMMMU team
College-level multimodal questions across 30 subjects, mixing diagrams, figures, tables and text — the broad multimodal-understanding baseline.
Reasoning over images at expert breadth, not object recognition.
MMMU-Pro
publicMMMU team
Harder MMMU variant that adds vision-only-input questions, defeating models that shortcut through the text and ignore the image.
On the Kimi K3 multimodal card. Forces the model to actually look.
MathVista
publicMathVista team
Visual mathematical reasoning over figures, plots and geometry — reading a chart or diagram and doing the math it implies.
Where vision meets quantitative reasoning; a frequent separator between strong and weak VLMs.
DocVQA
publicDocVQA
Question answering over scanned document images, requiring layout understanding and OCR-grounded reasoning.
The practical "read this paperwork and answer" test.
ChartQA
publicChartQA authors
Question answering over charts and graphs — visual plus numeric reasoning to extract values and trends from plotted data.
Directly relevant to reading the kind of performance charts these very benchmarks produce.
ZeroBench
publicZeroBench
A deliberately near-impossible hard-perception benchmark where current frontier VLMs score at or near zero — a headroom probe for the next generation.
Built to NOT be saturated; useful precisely because nobody is acing it.
Matériel et conception de PCB ajout D-Central
La frontière que presque personne ne mesure : un modèle peut-il concevoir de l’électronique — lire une fiche technique, générer un schéma, construire et router une carte, réussir l’ERC/DRC ? C’est le terrain de prédilection de D-Central, et la seule catégorie de cette page où nous publions notre PROPRE classement de première main.
Konduit KiCadBench — notre classement de première main
Construction autonome de carte via DCENT_Konduit, notre propre serveur MCP KiCad. Composite = 0.6 KiCadBench en direct (contrôlé par ERC/DRC) + 0.4 suites de répliques EE. En date du 2026-07-09.
| Modèle | Composite | KiCadBench | Suites EE | Contexte | Notes |
|---|---|---|---|---|---|
| Grok 4.5xAI | 0.973 | 5/5 | 0.93 | 2M | The only model to clear all five live KiCad build tasks under v2 structural gates AND score 0.93 on the EE suites. Full coverage. |
| Claude Opus 4.8Anthropic | 0.680 | 3/5 | 0.80 | 1M | Strongest Claude on live board-build and the most tool-efficient (19 calls/task avg); the USB-C power-entry task fails its required VBUS net labels. |
| Claude Haiku 4.5Anthropic | 0.587 | 2/5 | 0.87 | 200K | Punches above its weight on the EE suites (0.87) for a small, fast model; struggles on multi-constraint board builds. |
| Claude Sonnet 5Anthropic | 0.373 | 0/5 | 0.93 | 1M | Tied for top on the EE replica suites (0.93) but scored 0/5 on live builds — incomplete plan rounds under a subscription session limit plus stricter v2 gates. Reads as a harness-coverage gap, not a capability floor; flagged for re-run. |
| Claude Fable 5Anthropic | — | n/a | 1.00 | 200K+ | Perfect 5/5 (100%) on the EE replica suites but UNRANKED — the live board-build leg never ran (session limit hit mid-run). Partial coverage, not comparable to full-coverage rows until it completes. |
🔴 Le classement Konduit est un APERÇU précoce : cinq tâches de construction KiCad en direct plus cinq suites EE en salle blanche, exécutées via des harnais sur abonnement. L’évaluateur v2 conditionne la réussite aux contrôles structurels déclarés de la carte (nets, composants, contour, netclass, hiérarchie, ERC/DRC), et non à de simples codes de sortie. Les scores d’aperçu ne sont PAS des affirmations prêtes pour la fabrication — chaque carte nécessite encore une révision humaine par un ingénieur EE avant fabrication. L’ensemble de tâches est petit et en croissance ; considérez les classements comme directionnels et attendez-vous à du mouvement à mesure que nous ajoutons des tâches et réexécutons les lignes incomplètes.
Benchmarks documentés de conception de matériel
Konduit KiCadBench
première mainD-Central (first-party)
End-to-end autonomous PCB and schematic design through a LIVE KiCad MCP server: the model authors the board with real tools, the harness executes it on a real KiCad 10 engine, and ERC/DRC plus structural checks (nets, components, outline, netclass, hierarchy) gate the pass. 4-tier difficulty from schematic-only to a full fabrication package.
The only benchmark on this page that measures AGENTIC hardware design — building a board with tools, not answering trivia about one. Our leaderboard is below. Grok 4.5 currently leads at 0.973 composite; see the full table.
PCB-QA
rechercheSrinivasan, Tan, Turnbull & Pearce (arXiv:2606.23704)
480 question-answer pairs from 8 open-source hardware projects, covering component connections, datasheet reading and SPICE simulation. The first PCB question-answering benchmark.
Verified scores (Jun 2026): Gemini 3 Flash 93% (JSON format) · Claude Sonnet 4.6 90% · GPT-5.4 Nano 88% · Llama 3.3 70B 84%. JSON prompting beats native-KiCad format.
PCBBench / PCBSchemaGen
rechercheHZou9 et al. (arXiv:2602.00510)
227 real-IC schematic-generation tasks across 22 circuit domains, verified by a 5-layer deterministic structural checker (PCBs have no unit tests, so correctness is proven structurally).
Verified scores (Jan 2026): GPT-5.4 94.0% · Gemini 3.1 Pro 94.3% · DeepSeek V3.2 81.6% · Gemma-4-31B 81.3% (best local) · MiniMax M2.5 76%. The "hard" tier is the real separator.
SMPS Benchmark
recherchearXiv:2507.10639
269 switched-mode power-supply design tasks (parameter tuning, topology adaptation, optimization) with SPICE simulation feedback available in the loop.
Headline result (Jul 2025): SPICE feedback + reasoning lifts solve rate from 15% to 91% (o3 + RAG + SPICE 90.7%). Tool-in-the-loop beats raw model size for EE work.
CircuChain
recherchearXiv:2602.15037
Diagnostic circuit-analysis benchmark: 100 Control/Trap problem pairs across 5 canonical topologies, built to separate genuine competence from pattern-matched compliance.
Trap pairs expose models that recite the textbook answer without actually analysing the circuit in front of them.
PowerAgentBench-Dyn
recherchearXiv:2606.20401
Agentic AI on power-system dynamic-analysis tasks — grid and power engineering rather than PCB design.
One of the five EE replica suites in our Konduit composite (poweragentbench_dyn).
RadioBench
recherchearXiv:2606.01862
The first benchmark for LLM-driven radio-signal generation — RF and communications design.
One of the five EE replica suites in our Konduit composite (radiobench).
CVDP (Verilog)
publicNVIDIA
Digital-hardware / Verilog design — the RTL side of hardware, adjacent to our analog and PCB focus.
Included for completeness: the digital-design family, distinct from schematic/PCB work.
Security & Exploitation
Can the model find a vulnerability and PROVE it — carry a suspected bug through to a working exploit? This is the capability that decides whether an AI security audit produces patches or produces noise for maintainers to disprove, and it diverges sharply from general coding ability: models that write excellent code routinely cannot finish an exploit chain. After the 2026 Coldcard and BTCPay Server incidents, this is the benchmark family that matters most to Bitcoin.
ExploitBench
rechercheSeunghyun Lee & Prof. David Brumley (Carnegie Mellon) + Bugcrowd
Whether a model can carry a vulnerability all the way to a WORKING exploit. 41 patched V8 CVEs scored on a 16-flag capability ladder across five tiers: coverage, crash triggering, engine primitives (addrof/fakeobj/caged read-write), general primitives (info leak, arbitrary read/write), then instruction-pointer control and arbitrary code execution. Every flag is proven by a deterministic oracle — randomized challenge-response, differential execution against ground truth, and a signal-handler proof for code execution — so a model cannot talk its way to a score.
Verified scores. Paper primary arm (May 2026): Mythos Preview is the ONLY model to reach arbitrary code execution (18/41); GPT-5.5 13 engine primitives, Opus 4.7 12, Gemini 3.1 Pro 16, GLM 5.1 3, Kimi K2.6 zero. UK AISI + US CAISI joint evaluation (23 Jul 2026) on current open weights: Kimi K3 32%, GLM-5.2 24% — with ACE 0/41 for Kimi K3 against 20/41 average for the most cyber-capable frontier models. Cost spread across the table is ~38x, $5.41 to $203.93 per episode. DeepSeek has not been evaluated.
ExploitGym
rechercheUC Berkeley RDI + Max Planck Institute for Security and Privacy
The breadth counterpart to ExploitBench: 898 containerised tasks built from real vulnerabilities across userspace programs (OSS-Fuzz), Google's V8 engine and the Linux kernel, each with a two-hour limit. Individual security mitigations can be toggled on and off to isolate what each defence actually buys you.
Leaderboard (7 Aug 2026): GPT-5.6 Sol 33.7% · GPT-5.6 Terra 23.2% · Claude Mythos 5 17.5% · GPT-5.5 13.4% · GPT-5.6 Luna 12.4% · GPT-5.4 6.0% · Muse Spark 1.1 0.8%. Paper (May 2026): Mythos Preview 157 working exploits and 226 flag captures, GPT-5.5 120, Opus 4.6 just 15. Linux kernel exploitation is the sharpest divider in the whole set. No open-weight model has been evaluated here.
Tâches du monde réel ajout D-Central
Tâches à long horizon et ouvertes issues du monde réel — piloter un ordinateur de bureau, un téléphone ou un jeu vidéo ; accomplir un vrai contrat de pigiste facturé en argent réel. Le test le plus désordonné, le moins saturé et le plus honnête pour savoir si un « agent » en est réellement un.
OSRSBench
émergentCommunity / emerging
An agent's ability to play Old School RuneScape — a long-horizon, GUI-driven video game demanding navigation, resource management and multi-step questing over extended play.
🔴 EMERGING benchmark: we list it because it exemplifies the real-world direction, but treat its methodology and any scores as unconfirmed until its own repo/site is cited. No numbers published here.
OSWorld
publicOSWorld team
369 real computer-desktop tasks across Ubuntu and Windows applications; open-ended GUI computer-use with execution-based scoring on the actual resulting system state.
The leading general computer-use benchmark — operate a real desktop, get graded on the result.
AndroidWorld
publicGoogle Research
116 tasks across 20 real Android apps; mobile GUI agents rewarded on the app's actual resulting state.
The phone equivalent of OSWorld: real apps, real state-based reward.
Voyager / MineDojo
publicMineDojo
Open-ended embodied agents in Minecraft — skill acquisition, exploration and long-horizon goal pursuit across thousands of open tasks.
The canonical open-ended embodied-learning environment; lifelong skill-building, not a fixed score.
TheAgentCompany
publicTheAgentCompany
An agent completes tasks inside a simulated software company — coding, browsing, internal chat, HR workflows — scored on the fraction of real job workflows finished.
"Can it do a real knowledge-worker's job" — the most economically-framed of the real-world suites.
Hopkins et al.
Long-horizon automation and planning in the game Factorio — open-ended factory throughput requiring deep sequential planning.
Perhaps the purest long-horizon planning stress test: build a self-expanding factory.
SWE-Lancer
publicOpenAI
1,400+ real freelance software-engineering gigs priced in real US dollars; models are scored on earnings — did the delivered work pass the client's acceptance test.
Real jobs, real money as the yardstick — the sharpest bridge from benchmark to economic value.
Pourquoi une carte, pas un tableau de scores. Cette page est une CARTE de la façon dont les modèles d’IA sont mesurés, pas un tableau de scores figé. Les scores de pointe changent à presque chaque sortie de modèle, et les classements publics sont la source autoritative toujours à jour — donc pour les catégories Programmation, Agentique, Raisonnement et Vision, nous renvoyons vers le classement EN DIRECT de chaque benchmark plutôt que de figer un chiffre qui serait faux en quelques semaines. Publier des scores périmés comme s’ils étaient courants est exactement le genre de chose que ce site refuse de faire.
Pourquoi les chiffres Matériel sont les nôtres. L’exception est le Matériel et la conception de PCB. Là, nous publions des chiffres concrets, car les données sont les nôtres : D-Central a construit à la fois le benchmark (Konduit KiCadBench) et l’outil sur lequel il s’exécute (DCENT_Konduit, notre serveur MCP KiCad). Aucun classement LLM général ne mesure si un modèle peut réellement concevoir un circuit imprimé — lire une fiche technique, générer un schéma, le placer et le router, réussir l’ERC/DRC. Nous le faisons, et les résultats ci-dessous n’existent nulle part ailleurs.
Données ouvertes (CC BY 4.0) : CSV · JSON · API : /wp-json/dc/v1/llm-benchmarks
Produits, réparations et guides connexes
- hub IA auto-hébergée pour Bitcoiners
- guide des plebs pour l’IA auto-hébergée
- installer Ollama en 10 minutes
- LM Studio vs Ollama vs llama.cpp
- connecter l’IA locale à Home Assistant et Obsidian
- dépannage de l’IA auto-hébergée
- convertir du matériel de minage en hashcenter IA
- classements des modèles d’IA locale
Dernière révision: 27 juillet 2026.