MakoBench Suite 4.0 : Nominal 20, Class et Lean

En clair : MakoBench est notre plateforme publique d’évaluation des modèles linguistiques. La Suite 4.0 représente l’ensemble actuel de tests. Le principal changement est que le score « Total » correspond désormais à la somme des résultats en Code et en Chat (10 points pour chacun lors d’une exécution standard parfaite, soit un maximum théorique de 20 points ; des bonus peuvent encore s’ajouter). Auparavant, le score total était sur 100. Tous les modèles ont été réévalués. Cette page détaille les modifications apportées depuis la Suite 3.0 ainsi que leurs raisons, afin de vous permettre de savoir quels anciens scores conservent encore leur pertinence. Elle décrit également les versions publiques de CrucibleForge et indique les autres.

Aller à : CrucibleForge sur GitHub

La suite 4.1 a remplacé cette suite le 10 novembre 2026. Consultez MakoBench 4.1 : quelles sont les modifications. Le tableau de la suite 4.0 est conservé dans l’historique des suites.

La suite 4.0 était le jeu de tests MakoBench en vigueur jusqu’à l’arrivée de la version 4.1 ; elle a été produite par CrucibleForge 4.0.0, avec la version 4.0.1 qui apportait des correctifs liés au conteneur et à la plateforme ; toutes deux sont des versions publiques. Le principal changement : « Total » correspond désormais à « Code » plus « Chat », soit un score nominal de 20, et les lignes du tableau ont été re-exécutées selon ce nouveau calcul. Les scores de la suite 3.0, sur 100, sont également conservés dans l’historique des suites, mais ne sont pas comparables.

Résumé en bref

« Total » vaut nominalement 20. Un score de 10 en « Code » et 10 en « Chat » correspond à une exécution parfaite des tests standards. Des ensembles de tests bonus permettent d’obtenir des points supplémentaires, si bien que « Code », « Chat » et « Total » peuvent dépasser respectivement 10, 10 et 20. Chaque version des tests a un maximum fixe ; un nouveau pack le fait augmenter.
Plus rapide et moins bruyant. Les tests les plus lents et les plus gourmands en ressources ont été retirés du tableau, et les longues sessions de chat ont été raccourcies tout en conservant leurs vérifications.
Deux nouvelles colonnes : « Classe » (S, A, B, C) et « Lean » (orienté chat, orienté code ou équilibré).
Les tests NSFW ne figurent plus dans le calcul de « Total ». Ils se trouvent à côté du tableau et ne sont jamais pris en compte pour le score global.
Certains travaux sur les outils de test ne sont pas encore publiés. Ils sont listés en bas de page, clairement identifiés comme tels.

Que contient la suite 4.0 ?

La ligne correspondant à la suite sur le tableau indique « 4.0.1 » ainsi qu’un hash de contenu (e3d1c6fb). Ce hash ne change que lorsque le contenu affectant les scores est modifié ; c’est ainsi que le tableau détecte qu’une ligne est obsolète. Sur les 37 modèles présents sur le tableau le 4 novembre 2026, 32 disposent d’un score complet ; cinq petits modèles sont encore en cours de traitement et n’ont pas de score total. Les scores ont été calculés sous les versions 4.0.0 ou 4.0.1, qui ne diffèrent que par l’infrastructure de test ; cinq lignes affichent encore un score partiel « 3.9 » et sont ainsi signalées sur le tableau. Les modifications les plus anciennes apparaissent en premier.

4.0.0 : « lite », publié le 31 octobre 2026

Total est désormais Code + Chat. Le volet « Code » comprend les catégories Fonctions (5 points), Prédiction et détection de bogues (2,5) ainsi que l’utilisation d’outils (2,5). L’ensemble des tests liés au raisonnement, ainsi que quelques tests lents ou instables, ont été retirés ; le sous-score « Raisonnement » n’existe plus. Le volet « Chat » conserve les mêmes critères d’évaluation, mais dans des sessions plus courtes.
Les scores NSFW restent affichés à côté du tableau et ne sont jamais pris en compte dans le calcul final. Ils disposent de leur propre onglet : +NSFW Bench.
Classe et Lean. La catégorie « Classe » indique une classification globale basée sur le score Total : S pour 16 points ou plus, A pour 13 points, B pour 10 points, et C en dessous. « Lean » compare l’écart entre les scores Chat et Code d’un modèle par rapport aux valeurs médianes du tableau ; un écart de 1,5 point ou plus déclenche un signal d’alerte.
Règle de dépassement de budget. Une ligne dont le budget de sortie est épuisé est considérée comme ayant échoué, même après une nouvelle tentative.
Une seule tentative de réessai. Plutôt que d’effectuer plusieurs tentatives par modèle, les lignes ayant dépassé leur budget sont retentées une seule fois, avec un plafond de 65 536 tokens, après que chaque modèle ait effectué sa propre exécution.
Exécutions plus courtes. Les tests de codage s’exécutent désormais une seule fois par question ; plusieurs sessions de chat multiphases ont été raccourcies en fusionnant les tours utilisateur consécutifs, tout en conservant chaque critère d’évaluation et chaque question de jugement. Le planificateur est désormais capable d’estimer le temps d’exécution d’un modèle en se basant sur ses propres résultats antérieurs.
Licence : MIT-0. Les versions jusqu’à 3.7.0 étaient sous licence MIT.
Nouveaux ensembles de bonus. Un ensemble de tests plus difficiles est proposé pour chaque sous-score ; c’est le seul moyen d’obtenir plus de 10 points.

4.0.1 : corrections relatives aux conteneurs et aux plateformes (2026-11-01)

La version 4.0.1 (tag v4.0.1) corrige le test de fumée du conteneur : cases verify ne plante plus lorsque le nœud est absent, comme c’est le cas dans l’image publiée ; il signale alors ces cas comme étant ignorés. L’entrée de journal des modifications mentionne également des corrections pour macOS et Windows ainsi qu’un contact via SECURITY.md. Ces commits ultérieurs figurent sur la branche principale publique après le tag ; par conséquent, un nouveau clone les contient, mais pas le tag lui-même. Aucun contenu de cas ni aucune valeur de hash de suite n’a été modifié, c’est pourquoi les scores obtenus avec les versions 4.0.0 et 4.0.1 apparaissent sur le même tableau.

Le juge utilisé pour cette suite est Gemma 4 31B (version « hérétique » non censurée, Q8) exécuté sur notre propre unité de traitement graphique. DeepSeek Flash sert de juge de secours dans CrucibleForge, mais n’est pas le juge employé ici. Le juge est indiqué pour chaque suite, et cette page est mise à jour dès qu’il change.

Pas encore publié

Ce qui suit se trouve dans notre propre copie de CrucibleForge. Il n’est pas inclus dans la version publique ; par conséquent, un nouveau clone de l’outil ne le contiendra pas, et le journal des modifications public ne le mentionne pas non plus.

Question d’évaluation plus équitable. Une question d’évaluation dans une session de jeu de rôle pour adultes demandait quatre choses à la fois ; ainsi, une réponse fournissant tout sauf un détail était considérée comme totalement incorrecte. Nous avons divisé cette question en plusieurs questions distinctes et rejugé les réponses stockées sans les régénérer. Ceci ne fait pas partie de la version 4.0.1 ; le journal des modifications public ne le mentionne pas.
Relecture du raisonnement. Certains fournisseurs exigent que le raisonnement d’un modèle soit renvoyé avec la conversation. Un commutateur spécifique à chaque fournisseur permet cela ; il est activé par défaut uniquement pour le fournisseur utilisant l’API de MiniMax.
Une exigence par question d’évaluation. Un contrôle qui rejette toute question d’évaluation comportant plusieurs exigences liées aux critères de notation.
Vérification de conformité. Une commande permettant de valider les paramètres de requête d’un modèle via quelques appels peu coûteux avant de le soumettre aux tests ; elle enregistre également dans quelles conditions chaque test a été effectué.
Un menu de filtrage sur chaque colonne du tableau intégré à CrucibleForge. Le tableau MakoBench dispose quant à lui de son propre menu de filtrage.

Jusqu’à leur publication officielle, considérez ces éléments comme des expérimentations de notre part, et non comme des fonctionnalités que vous pouvez utiliser.

Ce que cela signifie pour les chiffres

Comparez uniquement les scores au sein de la suite 4.0. Le tableau de bord de la version 3.0 (32 modèles sur 100) se trouve dans l’historique des suites.
Le numéro de la suite n’a pas changé entre 4.0.0 et 4.0.1, car aucun contenu de cas d’essai n’a été modifié.
Lisez d’abord la marge avant de passer à l’ordre des tests. La manière de procéder est décrite dans Comment MakoBench fonctionne.

Le journal des modifications public est disponible dans le dépôt CrucibleForge.