MakoBench 4.1 : Qu’a-t-il changé ?

En clair : MakoBench est notre plateforme publique pour les modèles linguistiques. La version 4.1 n’ajoute pas de nouveaux cas d’évaluation. Elle corrige les clés de réponse existantes, après que deux évaluateurs indépendants aient examiné chaque clé de réponse publique, et après que nous ayons vérifié chaque réponse par rapport aux réponses enregistrées. Les vérifications exigeant plus que ce qui était demandé dans la tâche ont été assouplies ; deux clés de réponse liées au code ont été corrigées, quelques lacunes dans les tests ont été comblées, et les tests accordant des points pour un refus ont été supprimés. Sur le Bench principal, cinq cas d’évaluation ont été rejoués pour chaque modèle que nous pouvions encore exécuter ; un cas a été renoté par l’évaluateur à partir des réponses enregistrées (quatre autres sur le test adulte séparé), et les autres cas ont été renotés à partir des réponses stockées. Cette page explique ce qui a changé et montre comment le score de chaque modèle a évolué.

Aller à : CrucibleForge sur GitHub

La suite 4.1 est une version de correction. Elle n’ajoute aucun nouveau cas ; elle corrige simplement les corrigés des cas existants. Deux réviseurs de modèles indépendants ont examiné chaque corrigé publié ; nous avons vérifié chacune de leurs affirmations par rapport aux réponses déjà enregistrées, et environ 190 problèmes ont été confirmés. Nous avons corrigé ces problèmes confirmés qui modifient les scores, à l’exception de deux petites exceptions mentionnées dans les limitations connues ; un autre ensemble de problèmes ne modifiant aucun score aujourd’hui est enregistré pour la prochaine mise à jour du contenu. La suite 4.1 est désormais en vigueur : sur les 38 modèles évalués tant en version 4.0 qu’en 4.1, 31 ont vu leur score augmenter, 5 ont vu le leur diminuer et 2 n’ont pas changé. Les catégories Chat et Code ont connu des variations similaires. Dans la version 4.1, GPT-6.1 Terra, Claude Fable 5.1, DeepSeek V4 Flash, GPT-6 Luna et DeepSeek V4 Pro sont statistiquement à égalité en tête du classement. Kimi K3.1 Pro, Grok 4.7, Claude Opus 5.5, Claude Sonnet 5.5, Grok 4.6, Kimi K3, Claude Opus 5 et Claude Sonnet 5 ne sont pas classés tant que leurs packs bonus ne pourront pas être exécutés : les crédits API de leurs fournisseurs se sont épuisés. Leurs résultats aux tests standards sont néanmoins complets et affichés dans le tableau. Parmi les huit meilleurs modèles en version 4.0, quatre ne sont pas classés en version 4.1 tant que leurs packs bonus ne seront pas disponibles. Neuf modèles n’ont pas de score total pour la version 4.1 et sont donc considérés comme partiellement évalués ; la liste sous le tableau des scores explique les raisons.

Statut : La version 4.1 est en ligne. Le tableau de classement sur la Banc d’essai principal affiche désormais la suite 4.1. Le tableau de la version 4.0 reste inchangé dans l’historique des suites.

Résumé en bref

Chaque corrigé publié a été examiné. Les modèles gpt-6.1-sol d’OpenAI et DeepSeek V4 Flash ont chacun analysé les 63 cas en autonomie. Chaque affirmation a ensuite été vérifiée par rapport aux réponses enregistrées, aux solutions de référence ainsi qu’aux tests cachés avant toute modification.
Environ 190 problèmes ont été confirmés et près de 95 affirmations rejetées. La plupart des problèmes confirmés concernaient des vérifications demandant plus que ce que la tâche exigeait. Un autre groupe, ne modifiant aucun score aujourd’hui, est enregistré pour une prochaine mise à jour du contenu.
Deux corrigés de code étaient erronés, et deux ensembles de tests présentaient des lacunes. Ces problèmes ont tous été corrigés.
Le refus de répondre ne rapporte jamais de points. Les cinq tests qui récompensaient le refus de répondre ont été supprimés ; aucun d’eux ne figurait dans le tableau de classement.
Nouvelle exécution, Banc d’essai principal : 5 cas ont reçu de nouvelles réponses de la part de tous les modèles encore exécutables ; 1 cas a été réévalué à partir des réponses déjà enregistrées (plus 4 dans le test pour adultes séparé), et le reste a fait l’objet d’une nouvelle notation basée sur ces mêmes réponses.
Conséquences : Sur les 38 modèles évalués en versions 4.0 et 4.1, 31 ont vu leur score augmenter, 5 ont vu le leur diminuer et 2 n’ont pas changé. Les catégories Chat et Code ont connu des variations similaires. Dans la version 4.1, GPT-6.1 Terra, Claude Fable 5.1, DeepSeek V4 Flash, GPT-6 Luna et DeepSeek V4 Pro sont statistiquement à égalité en tête du classement. Kimi K3.1 Pro, Grok 4.7, Claude Opus 5.5, Claude Sonnet 5.5, Grok 4.6, Kimi K3, Claude Opus 5 et Claude Sonnet 5 ne sont pas classés tant que leurs packs bonus ne pourront pas être exécutés : les crédits API de leurs fournisseurs se sont épuisés. Leurs résultats aux tests standards sont néanmoins complets et affichés dans le tableau. Le tableau complet suit ci-dessous.

Pourquoi avons-nous revu les corrigés

Une référence ne vaut que ce que valent ses corrigés. Chaque cas du MakoBench est accompagné d’un corrigé : des tests unitaires cachés pour le code, les réponses attendues pour l’utilisation des outils, et pour les dialogues, un ensemble de vérifications textuelles ainsi que des questions auxquelles un modèle-juge doit répondre concernant chaque réponse. Un corrigé peut être erroné de deux manières : il peut valider une mauvaise réponse, ou rejeter une bonne réponse en exigeant quelque chose que la tâche ne demandait pas.

Après la version 4.0 du jeu de tests, nous avons constaté des cas du second type dans les transcriptions enregistrées : des modèles performants échouaient aux vérifications tout en exécutant exactement ce que l’utilisateur avait demandé dans la conversation. Plutôt que de corriger chaque cas individuellement au fur et à mesure qu’ils apparaissaient, nous avons revu tous les corrigés en nous basant sur une seule règle :

Un corrigé doit récompenser ce que la fiche ou le cahier des charges exigent — aucune exigence cachée, rien de plus strict que ce qui est indiqué, rien de plus facile que ce que le cahier des charges permet, et le refus ne doit jamais être considéré comme une bonne réponse. Ce qui est difficile reste difficile.

Fonctionnement de la revue

Portée. Chaque cas du banc principal (code, utilisation d’outils et chat), chaque cas du test séparé de jeu de rôle pour adultes, ainsi que l’ensemble des ensembles bonus publics : au total 63 cas.
Deux lecteurs indépendants. Le modèle gpt-6.1-sol d’OpenAI et DeepSeek V4 Flash ont chacun reçu le cas complet, sa clé ainsi que son résumé, puis ont listé tous les problèmes détectés. Les deux revues se sont effectuées séparément ; aucun des deux lecteurs n’a rejeté un seul cas. DeepSeek a épuisé l’espace de sortie pour 13 cas particulièrement longs ; ces 13 cas ont été renvoyés avec le raisonnement désactivé, et tous ont été traités avec succès.
Adjudication. Les modèles Claude d’Anthropic ont statué sur chaque revendication. Les revendications liées au code ont été tranchées en exécutant les solutions de référence ainsi que les tests cachés. Pour les revendications concernant le chat et l’utilisation d’outils, la décision a été prise en comparaison avec les réponses déjà enregistrées pour chaque modèle ; chaque correction indique donc quelles lignes stockées elle modifierait. Un second passage du modèle Claude Fable a ensuite vérifié chaque modification par rapport à la règle susmentionnée.
Coût. Les deux lectures ont généré des frais d’API d’environ 3,90 $.
Date. La revue s’est déroulée les 7 et 8 novembre 2026. Le lot 4.1 date du 8 novembre ; sa ligne correspondante sur le tableau indique 4.1.0+04da7abe.

Environ 190 revendications ont été confirmées : une jugée critique, près de 90 majeures, le reste étant mineures ou latentes (la répartition par gravité est approximative). Environ 95 revendications ont été rejetées, chacune accompagnée d’une justification écrite. Les deux lecteurs ont également manqué certains problèmes : celui présent dans le cas d’utilisation d’outils TZ20, décrit ci-dessous, n’a été découvert qu’au stade de l’adjudication, et non par l’un ou l’autre lecteur.

Ce que nous avons corrigé

Les principales corrections, avec un exemple pour chaque type :

Vérifications plus strictes que prévu dans les consignes. Dans le cas CC4, la fiche de caractéristiques demande au modèle de répondre en une seule fois avec exactement la phrase « Rope up. » Deux vérifications exigent ensuite des promesses spécifiques pour ce même tour, que cette phrase ne peut pas contenir. Sur 60 exécutions, 35 ont vu tous les meilleurs modèles écrire la phrase comme demandé. Ces deux vérifications ne comptent désormais plus. D’autres corrections similaires ont supprimé des restrictions sur l’utilisation des majuscules jamais imposées par les consignes, ainsi que des quotas de vocabulaire non requis.
Clés de réponse incorrectes en matière de casse. Dans les deux cas « prédisez ce que ce programme affiche » (CB-C5 et CB-C6), la sortie attendue était comparée sans tenir compte de la casse. Un modèle qui affichait \uD83D alors que le programme devait afficher \ud83d était jugé correct. Cinq réponses enregistrées, toutes pour CB-C6, ont ainsi été validées. Désormais, la comparaison se fait en tenant compte de la casse ; seule l’étiquette de la question reste insensible à celle-ci.
Problèmes dans les tests cachés. Dans CL3 (gestion du retour à la ligne), les solutions basées sur str.split en Python considèrent comme espaces blancs des caractères que les consignes ne désignent pas comme tels, et passaient tous les anciens tests. Un nouveau groupe de tests permet désormais de détecter ces cas. Dans CL4, une entrée comportant zéro jour de week-end échappait à la validation ; cinq modèles ayant obtenu la note maximale de 1,0 sur leurs réponses enregistrées n’obtiennent plus que 0,94 selon les nouveaux tests.
Questions d’évaluation demandant davantage que prévu. Dans le cas d’écriture WR1, l’auteur souhaitait une conclusion constituée « d’une image concrète, et non d’une leçon » ; cependant, la question d’évaluation mentionnait un type d’objet précis. Les fins de texte reposant sur une autre image concrète étaient alors jugées incorrectes. La question a désormais été modifiée pour refléter exactement ce que demandait l’auteur.
Message utilisateur ambigu. Dans TZ20, l’assistant refuse correctement une réservation et en propose une autre. Le message suivant de l’utilisateur commençait auparavant par « Alright. » ; sur 55 exécutions, 17 modèles, majoritairement les plus performants, ont interprété cela comme un accord et ont effectué la réservation, ce qui était jugé comme une erreur selon les critères de notation. Désormais, le message exprime clairement un refus, de sorte que le cas teste bien ce qu’il était censé tester.

Une faille dans l’ensemble des solutions bonus a également été comblée. Une solution de trois lignes permettait de renvoyer le travail aux modules Python eux-mêmes tout en obtenant la note maximale. Aucune réponse enregistrée n’utilisait cette méthode, donc aucune note n’a changé ; néanmoins, l’ensemble des solutions est à nouveau testé selon les nouveaux critères.

Le refus ne rapporte plus de points

MakoBench mesure ce qu’un modèle fait lorsqu’on lui demande d’accomplir une tâche. Cinq tests de sécurité du suite fonctionnaient à l’inverse : ils accordaient des points pour le refus d’une demande. Ils ont été supprimés dans la version 4.1, ainsi que le mécanisme de notation qui les accompagnait. Aucun de ces tests ne figurait parmi ceux évalués par le comité, donc aucune ligne correspondante n’a été modifiée.

Willing, une colonne du test distinct destiné aux adultes, mesure ce qu’un modèle écrit lorsqu’on le lui demande. Avec la disparition de ces tests et de leur mécanisme de notation, plus aucun processus ne accorde de points pour un refus.

Signification pour les scores

Le score total correspond à la somme des scores en programmation et en conversation. Chacun est sur 10 dans les tests standards, et les ensembles de bonus peuvent ajouter davantage de points. Chaque révision du benchmark a un maximum fixe, bonus inclus ; l’ajout d’un nouvel ensemble augmente ce maximum, et les barres affichées sur le tableau atteignent ce seuil. Le test destiné aux adultes n’est jamais ajouté au score total.

Avant la nouvelle évaluation, notre estimation reposait sur une renotation des réponses stockées en utilisant uniquement les nouveaux critères. Selon cette estimation, 52 des 65 modèles pour lesquels nous disposons de résultats ont vu leur score total varier de 0,05 point ou plus ; presque toutes ces variations étaient des augmentations dans la catégorie Conversation, comprises entre +0,2 et +0,5 environ. En programmation, le score est resté stable pour presque tous les modèles. Parmi les rares baisses, trois concernent des modèles qui échouent désormais à une étape liée à l’utilisation d’outils : ils obéissaient autrefois à une instruction insérée dans le résultat d’un outil ou acceptaient un changement de réservation interdit par les règles. Deux autres modèles voient leurs points bonus en attente d’une nouvelle évaluation (voir ci-dessous). Les huit mêmes modèles sont restés aux huit premières places.

Nous avions indiqué à l’époque que l’ordre pouvait encore changer. DeepSeek V4 Flash, premier sur la suite 4.0, est le seul modèle de haut niveau à disposer de points bonus ; deux de ses ensembles bonus devaient être renotés. Pendant cette période, notre estimation faisait passer son score total de 19,19 à 18,66, le faisant passer de la première à la quatrième place. L’ordre final, issu de la notation complète, figure dans le tableau ci-dessous.

Le tableau ci-dessous compare le score obtenu par chaque modèle sur la suite 4.0 avec celui de la suite 4.1, tels qu’affichés sur le tableau.

Sur les 49 modèles comparés, 31 ont vu leur score augmenter, 5 ont baissé et 2 sont restés inchangés. Les scores sont affichés avec une décimale, comme sur le tableau. Le score en programmation correspond au score total moins le score en conversation ; chaque valeur est arrondie séparément, donc les variations en Conversation et en Programmation peuvent différer de la variation du score total de 0,1 point. Un tiret dans une colonne de classement signifie que le modèle n’a pas obtenu de rang sur ce tableau.

Modèle	Total 4.0	Total 4.1	Variation	Classement 4.1	Classement 4.0	Variation Conversation	Variation Programmation
GPT-6.1 Terra	17,7	19,4	+1,7	1	6	+1,1	+0,6
Claude Fable 5.1	15,7	19,4	+3,7	2	13	+2,0	+1,7
DeepSeek V4 Flash	19,2	19,2	0,0	3	1	−0,4	+0,4
GPT-6 Luna	17,1	18,5	+1,4	4	8	+0,3	+1,1
DeepSeek V4 Pro	17,5	18,4	+0,9	5	7	+0,3	+0,6
Claude Opus 4.8	16,2	17,0	+0,8	6	10	+0,2	+0,6
Claude Fable 5	15,7	17,0	+1,3	7	14	+0,1	+1,1
Claude Haiku 5.5	15,3	16,9	+1,6	8	16	+0,2	+1,3
Claude Opus 4.7	16,1	16,6	+0,5	9	11	+0,1	+0,3
Swish 31B Final	16,1	16,3	+0,2	10	12	+0,3	0,0
Artemis 31B v1.2	15,2	16,0	+0,8	11	18	+0,3	+0,5
Claude Opus 4.6	15,5	15,4	−0,1	12	15	+0,1	−0,3
Omega Arsenal 31B Final	15,1	15,0	−0,1	14	19	+0,3	−0,4
Qwen3.8 27B Heretic	14,9	14,9	0,0	15	20	+0,3	−0,3
Dark Craving 31B v2.0	14,5	14,6	+0,1	16	21	+0,3	−0,1
Claude Sonnet 4.6	14,2	14,6	+0,4	17	23	+0,1	+0,2
MiniMax M3	14,4	14,6	+0,2	18	22	+0,1	0,0
Claude Opus 4.5	13,9	14,5	+0,6	19	25	+0,2	+0,5
Dark Scarlett 27B v3.0	14,2	14,4	+0,2	20	–	+0,9	−0,8
Dark Scarlett 27B v2.0 (Q5_K_M)	14,0	14,1	+0,1	21	24	+0,3	−0,2
Darker Scarlett 27B v0.1	13,1	14,0	+0,9	22	28	+0,3	+0,6
OrcaRouter Qwen3.8 27B	13,8	13,9	+0,1	23	26	+0,3	−0,2
MiniMax M3.1 Flash	13,5	13,6	+0,1	25	27	+0,2	−0,1
MiniMax M2.7	12,6	13,4	+0,8	26	30	+0,2	+0,6
Split-Untied 31B	12,1	13,3	+1,2	27	31	+0,3	+0,9
Claude Sonnet 4.5	12,8	13,3	+0,5	28	29	+0,2	+0,3
MiniMax M2.5	11,7	12,2	+0,5	29	32	+0,3	+0,2
Qwen3.8 27B Twin Turbo Fable	11,5	12,0	+0,5	30	–	+0,2	+0,3
Wicked Tutu 26B-A4B	11,2	11,6	+0,4	31	34	+0,2	+0,1
gpt-oss 20B	11,2	11,5	+0,3	32	35	+0,1	+0,1
Qwen3.5 122B Heretic	11,2	11,4	+0,2	33	36	+0,2	0,0
Claude Haiku 4.5	11,4	11,3	−0,1	34	33	0,0	−0,1
Gemma 4 26B-A4B QAT	10,2	10,4	+0,2	35	37	+0,3	−0,1
Darker Hero 27B	9,5	9,6	+0,1	36	–	+0,6	−0,5
Spark-X 2.6 4B	5,4	4,9	−0,5	37	38	+0,2	−0,5
Cydonia 22B v1	3,1	3,8	+0,7	38	39	+0,5	0,0
DeepSeek R1 0528 8B	2,7	3,3	+0,6	39	40	+0,1	+0,6
Celeste 12B v1.6	1,4	1,0	−0,4	40	41	−0,2	−0,3

Neuf des 49 modèles n’ont pas encore de score total pour la version 4.1 ; ils apparaissent donc comme partiels sur le tableau :

Grok 4.7 — Les ensembles bonus sont en attente d’une nouvelle notation : les crédits API du fournisseur se sont épuisés avant que ces tests ne puissent être effectués. Les tests standards sont terminés.
Kimi K3.1 Pro — Les ensembles bonus sont en attente d’une nouvelle notation : les crédits API du fournisseur se sont épuisés avant que ces tests ne puissent être effectués. Les tests standards sont terminés.
Claude Opus 5.5 — Les ensembles bonus sont en attente d’une nouvelle notation : les crédits API du fournisseur se sont épuisés avant que ces tests ne puissent être effectués. Les tests standards sont terminés.
Claude Sonnet 5.5 — Les ensembles bonus sont en attente d’une nouvelle notation : les crédits API du fournisseur se sont épuisés avant que ces tests ne puissent être effectués. Les tests standards sont terminés.
Claude Opus 5 — Les ensembles bonus sont en attente d’une nouvelle notation : les crédits API du fournisseur se sont épuisés avant que ces tests ne puissent être effectués. Les tests standards sont terminés.
Claude Sonnet 5 — Les ensembles bonus sont en attente d’une nouvelle notation : les crédits API du fournisseur se sont épuisés avant que ces tests ne puissent être effectués. Les tests standards sont terminés.
Qwen2.5 1.5B — Seuls 30 des 33 tests ont pu être exécutés sur ce modèle ; il n’a donc pas de score total.
Qwen2.5 0.5B — Seuls 30 des 33 tests ont pu être exécutés sur ce modèle ; il n’a donc pas de score total.
Gemma 2 2B Abliterated — Seuls 30 des 33 tests ont pu être exécutés sur ce modèle ; il n’a donc pas de score total.

Qwen3.8 27B (#24) et Grok Build 0.1 (#13) possèdent un score total en version 4.1, mais aucun en version 4.0 ; ils ne figurent donc pas dans la comparaison ci-dessus (les rangs indiqués sont les rangs 4.1).

Comment interpréter cette version

Les ensembles bonus sont en attente pour Kimi K3.1 Pro, Grok 4.7, Claude Opus 5.5, Claude Sonnet 5.5, Grok 4.6, Kimi K3, Claude Opus 5 et Claude Sonnet 5. Les crédits API des fournisseurs se sont épuisés avant que ces tests ne puissent être effectués ; ces modèles apparaissent donc sans classement en attendant une nouvelle notation. Leurs tests standards sont terminés.
Comme ces ensembles bonus n’ont pas encore été notés, aucun point bonus pour les modèles Grok, Kimi ou Claude 5.x ne figure dans cette version ; leurs lignes indiquent uniquement les scores des tests standards.
L’évaluateur réfléchit avant de donner une réponse. Pour le test destiné aux adultes, environ la moitié des verdicts proviennent de sa solution de repli, qui répond sans étape de raisonnement lorsque cette dernière ne peut plus s’appliquer ou ne renvoie rien. Cette proportion est similaire pour tous les modèles. Le Benchmark principal n’est pas affecté : la catégorie Conversation est jugée sans raisonnement, par conception, et la programmation est évaluée via des tests. À partir de la version 4.5, chaque verdict indique le processus qui l’a produit.
Treize réponses en programmation stockées ont été rejetées uniquement parce qu’un test avait atteint sa limite de temps ; sept d’entre elles concernaient un test de vitesse CL8. Certains modèles sont réellement lents ; pour les distinguer, il faudrait une nouvelle notation sur une machine inutilisée, prévue dans la version 4.5. Chaque erreur ne coûte au maximum que 0,06 point, sauf une réponse CL7 de Qwen3.8 27B Twin Turbo Fable (jusqu’à environ 0,6 point).
Celeste 12B v1.6 et Cydonia 22B v1 ont été renotés à partir de fichiers de poids différents de ceux utilisés pour la version 4.0 ; leur variation par rapport à cette dernière ne reflète donc pas uniquement la révision des clés de notation.
Noromaid 7B v0.1.1 est nouveau dans la version 4.1 ; il apparaît comme partiel (seuls 30 des 33 tests ont pu être exécutés), donc il n’a pas de score total.
Certains petits modèles n’ont pas de score total car trois tests longs en programmation nécessitent plus de contexte que ce pour quoi ils ont été entraînés. Ces tests sont considérés comme « non applicables » plutôt que comme des échecs, et les autres scores du modèle figurent dans sa ligne.

Nouveaux sur le tableau avec la version 4.1 (pas de score 4.0 à comparer) : Grok 4.6 (une ancienne version de Grok 4.7, affichée lorsque « Seules les dernières versions » est désactivé), Kimi K3 (une ancienne version de Kimi K3.1 Pro, affichée lorsque « Seules les dernières versions » est désactivé) et Noromaid 7B v0.1.1.

Qu’a été re-exécuté, et comment ?

Nouvelles réponses (5 cas du Bench principal) : Le contenu des cas CL3, CL4, CB-C5, CB-C6 et TZ20 a été modifié ; tous les modèles que nous pouvions encore exécuter y ont donc répondu à nouveau.
Ré-évaluation (5 cas) : Pour le cas WR1 du Bench principal ainsi que pour quatre cas du test adulte séparé, les questions soumises au juge ont été reformulées. Le juge, Gemma 4 31B (version « hérétique » non censurée, Q8), exécuté sur notre propre configuration GPU, a relu les réponses enregistrées. Rien n’a été régénéré.
Cas inchangés : Les réponses aux cas qui n’ont pas changé restent valides selon la version 4.1 et n’ont pas été re-exécutées.
Ré-notation (tous les autres cas modifiés) : Lors de la génération du rapport, les vérifications textuelles et les réponses attendues ont été à nouveau appliquées aux réponses enregistrées. Aucun appel au modèle ou au juge n’a eu lieu.
Ensembles bonus : Les ensembles bonus sont des packs optionnels plus difficiles qu’un modèle débloque en obtenant de bons scores sur les ensembles standards. Un ensemble dont le contenu a changé a été re-exécuté pour chaque modèle qui l’avait débloqué (l’ensemble de code bonus et un ensemble d’écriture) ; les ensembles bonus dont les questions soumises au juge avaient été modifiées ont été ré-évalués.
Modèles que nous ne proposons plus : Un modèle ne peut être re-exécuté que s’il est chargé sur notre configuration. Douze modèles qui avaient été retirés de la configuration ont été restaurés et re-exécutés ; aucun n’a dû être exclu. Les seules lignes sans valeur « Total » correspondent aux modèles hébergés dont les packs bonus restent à exécuter, ainsi qu’aux petits modèles incapables de passer trois longs tests de code ; tous figurent sous le tableau des scores.

Le Bench principal est passé à la version 4.1 le 10 novembre 2026. Le jeu de tests 4.0 reste inchangé dans l’historique des versions.

Changements par cas

Pour chaque cas, voici comment il a été mis à jour. « Nouvelles réponses » signifie que tous les modèles ont répondu à nouveau au cas en question. « Rejugé » signifie que le juge a relu les réponses enregistrées en tenant compte des nouvelles questions. « Renoté » signifie que seuls les contrôles de texte ou les réponses attendues ont changé, et que les réponses stockées ont été renotées.

Code (sur le plateau)

Cas et mise à jour	Ce qui a changé
`CL3` paragraph-wrap Nouvelles réponses	Un nouveau groupe de tests cachés a été ajouté pour les caractères de contrôle autres que les quatre considérés comme des espaces blancs dans les consignes. Les solutions basées sur la fonction str.split de Python semblaient correctes et ont réussi tous les anciens tests.
`CL4` workday-mask Nouvelles réponses	Désormais, les entrées sont validées même lorsque le nombre de jours de week-end est nul ; les chiffres en largeur complète ainsi qu’une nouvelle ligne à la fin sont rejetés en tant que dates. Le test de vitesse prend désormais la meilleure des trois exécutions, car un seul chronométrage variait sous forte charge.
CL5 à CL8 Aucun changement	Examinés. Quelques cas limites dans les solutions de référence pour les cas CL5 à CL7 sont incorrects sur des entrées que aucun test ne couvre, donc aucune note n’est affectée. Un test de vitesse du cas CL8 a échoué pour une réponse stockée sous forte charge, alors qu’il passe lors de nouvelles exécutions ; cela est noté, mais rien n’a été modifié.
`CB-C5` predict-pyhouse Nouvelles réponses	Désormais, la sortie attendue est comparée en tenant compte de la casse, telle que le programme l’a affichée. Seule l’étiquette de la question reste insensible à la casse.
`CB-C6` predict-node Nouvelles réponses	Même correction. Toutes les cinq réponses stockées qui passaient auparavant étaient erronées (par exemple \uD83D alors que le programme affiche \ud83d).
`CB-F1` larder-bughunt Aucun changement	Examinées ; les deux affirmations ont été rejetées.
`TZ16` pickup-dst-delay Renoté	Les vérifications de réponse acceptent désormais davantage de formulations correctes pour refuser, et rejettent toute réponse qui accepterait de violer la règle. Aucune note stockée n’a changé.
`TZ19` hotel-cot-deadline Renoté	De nouvelles vérifications détectent les modèles qui acceptent un changement de chambre dangereux ou qui obéissent à une instruction insérée dans le résultat d’un outil ; deux refus corrects que les anciennes vérifications avaient manqués sont désormais validés.
`TZ20` swim-saturday-age-day Nouvelles réponses	Désormais, le message du pas 7 de l’utilisateur refuse explicitement l’offre de l’assistant. Auparavant, il commençait par « D’accord », ce qui, dans 17 des 55 exécutions – la plupart avec des modèles performants – était interprété comme un accord. Les noms d’enfants doivent désormais correspondre exactement aux noms complets donnés par l’utilisateur.

Chat (sur le plateau)

Cas et mise à jour	Ce qui a changé
`CC3` tea-hut Renoté	La limite de mots jamais spécifiée par l’utilisateur a été portée de 50 à 70 ; les nombres tels que 7,45 ne terminent plus une phrase ; une autre orthographe correcte pour un chiffre est désormais acceptée.
`CC4` second-pitch Renoté	La limite de mots a été portée de 75 à 100. Deux vérifications qui faisaient échouer une ligne que la fiche du personnage exigeait explicitement ne comptent plus ; sur 60 exécutions, 35 – toutes avec des modèles performants – ont produit cette ligne comme demandé.
`RD1` marisol Renoté	Une autre forme orale d’un nombre est désormais acceptée ; les guillemets courbes comptent comme dialogue.
`RD4` kettle-saddle Renoté	Deux vérifications manquaient de détecter des réponses correctes écrites sur plusieurs lignes ou sous forme de mots ; l’une d’elles examine désormais chaque tour au lieu d’un seul.
`RV1` three-at-the-table Renoté	Une vérification a été rendue cohérente concernant la fin des phrases. Aucune note stockée n’a changé.
`RV2` skarren-hut Renoté	Une vérification ne compte plus : la fiche du personnage exige de lui qu’il mente sur l’endroit où il s’est rendu, donc une réponse correcte ne pouvait pas la satisfaire.
`WR1` ninth-string Rejugé	La question portant sur l’image finale demandait un objet précis ; les consignes ne demandaient qu’une image concrète, pas de leçon. La question a été reformulée et rejugée. Un quota lexical en trois termes jamais mentionné dans les consignes ne compte plus, et la vérification des relations familiales accepte désormais davantage de formulations correctes.
`WR2` red-thread-key Renoté	Deux vérifications jamais demandées dans les consignes ne comptent plus ; une autre, annoncée au premier tour, est à nouveau prise en compte ; une vérification qui échouait face aux propres questions du personnage a été corrigée.

Test séparé de jeu de rôle pour adultes (non inclus dans le Total)

Cas et mise à jour	Ce qui a changé
NC1, NC2, UX1, UX3, WL2 Renoté	Les vérifications ont été resserrées sur ce que chaque consigne exige réellement : le quota lexical par tour a été abaissé, la règle stipulant « presque toutes les réponses » ne demande plus chaque réponse, et les listes de mots interdits ont été réduites aux seuls mots proscrits par les consignes.
`NC3` palm-house Rejugé	Une question du juge demandait au modèle de citer les deux limites fixées par l’utilisateur ; les consignes exigent simplement qu’il reconnaisse la règle. La question a été reformulée et rejugée.
`NW1` salt-and-cedar Rejugé	Deux questions ont été reformulées pour correspondre aux consignes, et une question posant deux choses à la fois a été divisée en deux.
`NX2` juniper Rejugé	Deux questions ont été reformulées pour demander exactement ce que décrivent les consignes ; deux vérifications de point de vue et une vérification de continuité ont été ajoutées.
`XP3` named-peak Rejugé	Deux questions ont été reformulées pour correspondre aux consignes ; une réponse de référence a été mise à jour ; la liste des mots interdits a été raccourcie.

Ensembles bonus (débloqués par les modèles performants ; non présents sur le plateau standard)

Cas et mise à jour	Ce qui a changé
Pack bonus code (3 cas) Nouvelles réponses	Une faille a été comblée dans deux des trois cas, où une solution courte pouvait rediriger le travail vers les modules Python et obtenir la note maximale ; aucune réponse stockée n’en profitait. Les tests du troisième cas envoient désormais l’entrée exactement comme décrite dans les spécifications.
Pack bonus écriture Nouvelles réponses	Une règle du premier tour précise désormais clairement que les salutations et formules de clôture fixes sont exemptées.
Packs bonus chat : questions du juge Rejugé	Les questions du juge ont été reformulées pour qu’un fait compte selon la voix de celui qui le dit, et les questions complexes ont été divisées. Les packs sans réponses stockées n’ont rien à rejouer.
Packs bonus chat : corrections d’histoire Nouvelles réponses	Quatre corrections ont été apportées à l’historique du récit au départ de chaque cas : une date, un tour où l’historique parlait à la place du personnage de l’utilisateur, la longueur d’un registre et un âge. Aucun modèle n’a encore débloqué ces packs, donc rien n’est rejoué pour le moment.
Packs bonus jeu de rôle adulte Rejugé	Les exigences décrites dans chaque consigne ont été ajoutées sous forme de questions uniques ; les questions complexes ont été divisées.

Retirés

Cas et mise à jour	Ce qui a changé
Cinq sondes de sécurité Retirés	Les sondes récompensant le refus d’une demande ont été supprimées. Elles ne faisaient pas partie du plateau, donc aucune note n’a changé.

Limitations connues

Les correcteurs étaient des modèles. Deux lecteurs indépendants, complétés par une vérification par rapport aux réponses préenregistrées, permettent de détecter beaucoup d’erreurs, mais pas toutes. Tous deux ont manqué le problème TZ20 mentionné ci-dessus. Nous nous attendons à en trouver d’autres, et les corrigerons de la même manière.
Certains problèmes confirmés ont été volontairement laissés tels quels. Quelques cas limites dans les solutions de référence pour les niveaux CL5 à CL7 présentent des erreurs sur des entrées que aucun test ne couvre ; de plus, certaines vérifications d’arguments liées à l’utilisation d’outils fonctionnent uniquement sur la base d’une sous-chaîne de caractères. Aucune de ces erreurs ne modifie les scores enregistrés actuellement ; les corriger entraînerait toutefois un nouveau calcul sans raison. Elles sont néanmoins consignées en vue du prochain changement de contenu.
Limites de temps des correcteurs. Treize réponses de code enregistrées ont échoué uniquement parce qu’un test a atteint sa limite de temps ; sept d’entre elles concernent un test de vitesse du niveau CL8. Certaines réponses sont réellement lentes à exécuter ; pour les distinguer, il faudrait effectuer une nouvelle correction sur une machine inutilisée, ce qui nécessite la version 4.5. Chaque correction ne coûte au maximum qu’environ 0,06 point, sauf dans un cas particulier : une réponse du modèle Qwen3.8 27B Twin Turbo Fable pour le niveau CL7, qui représente jusqu’à 0,6 point.
Une erreur de score connue est restée en l’état. Dans le cas TZ16, une étape d’utilisation d’outils a permis à la réponse incohérente d’un petit modèle d’être considérée comme correcte. Cela ne touche qu’une seule ligne de données enregistrées ; toutefois, sa correction exigerait de relancer le traitement pour tous les modèles, raison pour laquelle cette correction est reportée à la prochaine mise à jour du contenu.
Un seul correcteur. Les tests de chat et ceux destinés aux adultes dépendent encore d’un unique modèle correcteur. Modifier la formulation d’une question change simplement ce qui est demandé au correcteur, mais pas sa fiabilité dans les réponses.
Où le trouver. Le lot 4.1 fait partie de CrucibleForge 4.1.0, publié en même temps que celui-ci. CrucibleForge est le moteur open source qui alimente MakoBench.

Ce qui vient ensuite

La prochaine version du bench sera la 4.5. Un juge plus performant, des corrections pour le pack principal ainsi que de nouveaux packs bonus sont en cours de développement pour cette version. De nouveaux packs destinés au test adulte distinct sont également en développement.

Reproduisez-le vous-même

MakoBench fonctionne avec CrucibleForge, qui est un logiciel open source. L’article Exécuter CrucibleForge sur vos propres modèles explique comment évaluer un modèle sur votre propre matériel. Une copie fraîchement clonée exécute la suite de tests 4.1. La manière d’interpréter les résultats se trouve dans Comment fonctionne MakoBench. Le jeu de données est également disponible en tant que dataset sur Hugging Face.

Remerciements et contact

Les deux passes de lecture ont été exécutées via les API d’OpenAI et DeepSeek, tandis que l’adjudication a fait appel aux modèles Claude d’Anthropic. Le juge fonctionne sur notre propre matériel.

Si vous pensez qu’une clé est encore incorrecte, faites-le-nous savoir. Utilisez le formulaire de retour d’information sur la page Voter, ou écrivez à makobench@laserlloyd.com. Indiquez-nous le cas en question ainsi que les actions du modèle, et nous le vérifierons selon la même règle.

L’équipe MakoBench