Jacob Lloyd — rédigé avec l'aide de l'IA, une fois le projet terminé
Temps de lecture
22 min de lecture
En clair : MakoBench est un tableau de classement public pour les modèles linguistiques. Chaque modèle répond aux mêmes tests : le test de codage vaut 10 points, le test de conversation en vaut 10 également ; le score total est la somme des deux. Des ensembles de bonus plus difficiles sont débloqués pour un modèle qui obtient 90 % ou plus à une épreuve, ce qui lui permet d’accumuler encore plus de points. Cette page présente chaque étape sous forme de diagramme.
Un seul test partagé. Chaque modèle répond aux mêmes cas d’usage standard. Le code rapporte 10 points et Chat en rapporte 10 également, soit un total de 20 points sur les tests standards.
Le code est exécuté, Chat est évalué. Les réponses du code sont soumises à des tests cachés. Un modèle-juge note Chat et doit citer les preuves utilisées pour son évaluation.
Chaque score possède une marge. Les modèles se situant dans la même plage de ± sont considérés à égalité, quel que soit leur ordre.
Les ensembles de bonus dépassent le seuil des 10 points. Si un modèle obtient 90 % ou plus sur une partie, les ensembles de tests plus difficiles correspondants se débloquent. Chaque ensemble rapporte jusqu’à 1 point supplémentaire.
Rien ne rapporte de points en cas de refus de répondre. Les tests évaluent ce qu’un modèle fait lorsqu’on le sollicite.
Le moteur est open source.CrucibleForge sur GitHub gère l’ensemble du système, et vous pouvez également l’exécuter vous-même.
Les exemples détaillés font référence au tableau de notation de la Suite 4.0 publié le 7 novembre 2026. La Suite 4.1 corrige les clés de réponse et renote tous les modèles, en appliquant les mêmes règles de scoring et de bonus ; ce qui a changé dans la Suite 4.1 présente les détails ainsi que les nouveaux chiffres.
Qu’est-ce que MakoBench ?
Chaque modèle suit les mêmes six étapes.
MakoBench est un classement public des modèles linguistiques, qu’ils soient installés localement ou accessibles via une API, tous évalués de la même manière. Il mesure deux types de compétences : la capacité à écrire du code fonctionnel, ainsi que la faculté à tenir un rôle-play ou à converser en tant que compagnon virtuel. La page Ce que MakoBench teste et ce qu’il ne teste pas décrit l’ensemble du périmètre d’évaluation.
Un exemple concret : Claude Sonnet 4.5 face au cas d’utilisation d’outils TZ19, suite 4.0.
Un cas correspond à une tâche précise : écrire une fonction, prédire la sortie d’un programme, participer à une conversation avec des outils ou effectuer une longue session de jeu de rôle. Chaque cas est évalué en petites parties – par exemple des groupes de tests cachés ou les différentes étapes d’une conversation – afin qu’une réponse presque correcte rapporte la plupart des crédits. Chaque cas standard est exécuté une seule fois.
Le juge doit présenter ses preuves. Un OUI sans citation réelle est considéré comme NON.
Le code n’a jamais besoin d’une opinion ; le chat, si. C’est pourquoi un modèle juge, autre modèle linguistique, répond à des questions à choix binaire concernant chaque réponse. Dans ce contexte, il s’agit de Gemma 4 31B (version « hérétique » non censurée, format Q8) exécuté sur notre propre système GPU ; le format Q8 désigne une copie des poids en 8 bits. Un OUI n’est comptabilisé que s’il est accompagné d’une citation mot pour mot, car les modèles juges ont tendance à répondre OUI trop facilement. Avant chaque lot de tests, le juge doit valider une réponse connue comme correcte et détecter une réponse connue comme incorrecte ; sinon, le lot est interrompu.
Lorsqu’une seule question peut faire échouer un cas, elle est posée trois fois. Le cas n’est validé que si la majorité des réponses sont OUI ; en cas d’égalité, la réponse est considérée comme NON.
Chaque barre représente une composante, proportionnelle à sa part de points.
Chaque composante obtient la part de points qui lui revient : par exemple, les fonctions représentent 76 % de 5 points, soit 3,8 points. Toutes ces composantes se cumulent pour former le score du Code et du Chat. Le test destiné aux adultes dispose d’un onglet propre et ne fait jamais partie de ce calcul.
Détails : le profil de test (bench.yaml) liste chacune des composantes, leurs points attribués ainsi que les cas d’évaluation correspondants.
La marge ±
La marge ± indique dans quelle mesure le Total dépend des cas choisis. La forme de l’histogramme n’est qu’une illustration.
Un autre ensemble de cas donnerait un Total légèrement différent. La marge indique cette variation. Deux modèles dont les valeurs sont plus proches que leurs marges respectives sont statistiquement considérés comme équivalents. La marge ne tient pas compte des fluctuations d’une exécution à l’autre ; il convient donc de considérer également comme égal un écart d’un ou deux points.
La catégorie de classement est une classification approximative. Une marge qui traverse la limite d’une catégorie indique qu’il s’agit d’un cas ambigu. Les chiffres proviennent du tableau de notation de la suite 4.0.
Symbole
Signification
Catégorie
S pour 16 points ou plus, A à partir de 13, B à partir de 10, C en dessous.
Orientation
« Chat » ou « Code » selon que, par rapport aux moyennes du tableau pour le Chat et le Code, l’un des deux scores dépasse l’autre de 1,5 point ou plus. Sinon, l’orientation est équilibrée.
Partiel
Tous les cas n’ont pas été traités. Les chiffres sont indiqués, mais il n’y a ni Total, ni catégorie, ni classement.
Provisoire
Notre vérification de configuration a échoué ; le code de test pourrait donc mesurer ce modèle de façon incorrecte. Aucun classement ni catégorie ne sont attribués tant qu’une nouvelle exécution n’est pas effectuée.
(ensemble 1)
Cette partie inclut des points bonus ; le chiffre indiqué correspond au niveau de bonus le plus élevé atteint.
MAX
90 % ou plus aux questions standard ainsi qu’à tous les ensembles de bonus. Il ne reste plus de difficultés supplémentaires, donc un nouvel ensemble est nécessaire.
Chaque barre représente une catégorie : la portion colorée indique les points obtenus par le modèle, tandis que la ligne pointillée marque le seuil de 90 %. Tableau Suite 4.0, publié le 7 novembre 2026.
Claude Sonnet 4.5 s’est limité à l’ensemble standard uniquement. Voici comment les scores obtenus se transforment en points pour chaque catégorie.
Catégorie
Cas évalués
Points
Fonctions
Part des groupes de tests réussis : CL3 1,00, CL4 0,69, CL5 0,40, CL6 0,89, CL7 0,77, CL8 0,79. Moyenne : 0,76.
0,76 × 5 = 3,8
Prédiction + détection de bugs
Deux cas de prédiction du résultat (CB-C5, CB-C6) : 31 % de bonnes réponses, pondération 2. Un cas de détection de bugs (CB-F1) : 0 bonne réponse, pondération 1. (2 × 0,31 + 0) ÷ 3 = 0,21.
0,21 × 2,5 = 0,5
Utilisation d’outils
Nombre d’étapes correctes : TZ16 3 sur 6, TZ19 7 sur 11, TZ20 toutes. Moyenne : 0,71.
0,71 × 2,5 = 1,8
Catégories de Chat
Deux sessions d’évaluation par catégorie.
2,0 + 2,0 + 1,3 + 1,4 = 6,7
Score total : 6,1 + 6,7 = 12,8 ± 1,1, classe B. La meilleure catégorie, Fonctions, n’a atteint que 76 %, en dessous du seuil de 90 % nécessaire pour débloquer les ensembles bonus. Par conséquent, tous ces ensembles sont restés verrouillés et le score final ne concerne que l’ensemble standard. La plupart des modèles figurant sur ce tableau se trouvent dans la même situation.
Ensembles de bonus
Comment les ensembles de questions se débloquent
Un exemple pour une partie donnée, de haut en bas. Chaque partie de Code et Chat possède son propre schéma de déblocage.
Un ensemble de bonus est un groupe de questions plus difficiles, généralement au nombre de trois, pour une même partie. CrucibleForge les désigne sous le nom de « packs d’escalier ». Les règles sont les suivantes :
Déblocage. Les ensembles d’un niveau ne sont débloqués qu’après avoir obtenu 90 % ou plus aux questions standard de la partie, ainsi que sur chaque ensemble des niveaux inférieurs.
Verrouillé, débloqué, en attente. Verrouillé : non obtenu. Débloqué : obtenu, donc exécuté. En attente : obtenu mais pas encore exécuté ou évalué ; il vaut 0 point pour l’instant.
Jusqu’à 1 point par ensemble. Les questions d’un ensemble se partagent ce point, avec attribution de crédits partiels : 2 bonnes réponses sur 3 rapportent environ 0,67 point. Si une question est traitée deux fois, les deux résultats sont moyennés.
Niveaux. Tous les ensembles d’un même niveau sont débloqués en même temps, et chacun ajoute sa propre contribution à la note de la partie.
À partir de la version 4.1, tous les ensembles sont au niveau 1. Code comporte trois ensembles, un par partie, tandis que Chat en compte cinq (Deep role-play en possède deux) ; ainsi, Code peut atteindre 13 points et Chat 15. Une partie ne débloque jamais ses ensembles si elle ne contient pas encore de cas standard.
Exemple : un modèle qui déverrouille un ensemble de programmes
Chiffres réels provenant du tableau d’évaluation Suite 4.0 et des réponses enregistrées.
DeepSeek V4 Flash a réussi les six programmes standard de la catégorie « Functions », ce qui a permis de déverrouiller l’ensemble de programmes bonus correspondant : trois programmes créés de toutes pièces, chacun exécuté deux fois. Le modèle en a résolu une partie : il a obtenu 4 points sur 6 groupes testés lors d’une tentative, puis aucun point lors de l’autre essai ; la note attribuée à cette question est donc de 0,33. La contribution globale de cet ensemble s’élève à (0 + 0 + 0,33) ÷ 3 = 0,11. Les modules « Code » et « Rédaction créative » ont également déverrouillé leurs propres ensembles de programmes bonus. Le score global en matière de « Code » est ainsi passé à 11,2, dépassant le seuil de 10 ; le score total s’élève à 19,2 ± 0,8.
En ce qui concerne le module de jeux de rôle profonds, le score obtenu est de 74 %, soit un résultat inférieur à 90 %. Par conséquent, les ensembles de programmes bonus associés restent verrouillés. Chaque module déverrouille ses propres ensembles de programmes de manière indépendante.
Comment le test a été conçu
Garder les cas à jour
Chaque réponse enregistrée porte une indication du contenu du cas qu’elle a traité ; ainsi le système peut distinguer une réponse actuelle d’une réponse obsolète.
Chaque réponse enregistrée porte une indication du cas auquel elle correspond. Lorsqu’un cas est modifié, seules les parties concernées sont traitées à nouveau. Les anciennes et nouvelles réponses ne se mélangent jamais. Pour plus de détails : les indications de cas (version.py).
Examen des clés de réponse de la suite 4.1
Comment la suite 4.1 a été créée. Les détails figurent dans l’article sur la version 4.1.
Une clé de réponse peut être erronée de deux manières : elle peut valider une mauvaise réponse, ou rejeter une bonne réponse en exigeant plus que ce que le cahier des charges demandait. Pour la suite 4.1, deux reviseurs modèles ont chacun lu toutes les clés de réponse publiques ; chaque affirmation a été vérifiée par rapport aux réponses stockées avant toute modification. Le refus de fournir une réponse est également pris en compte : aucun cas ne rapporte de points pour un refus. Suite 4.1 : qu’est-ce qui a changé liste chacune des corrections effectuées.
De la première suite aux nouveaux packs
En haut : évolution de la suite. En bas : procédure suivie pour chaque nouveau pack.
Les ensembles de bonus sont apparus en version 3.9 afin d’éviter que les meilleurs modèles n’obtiennent tous une note parfaite. Les anciens ensembles restent inchangés dans l’historique de la suite, et chaque nouvelle version du moteur est répertoriée dans le journal des modifications de CrucibleForge.
Lorsque les modèles commencent à atteindre la note maximale sur une catégorie, il devient nécessaire de créer un ensemble de bonus plus difficile (un nouveau pack). Chaque nouveau pack suit donc la procédure décrite ci-dessus. La vérification par le juge est cruciale : si celui-ci ne parvient pas à distinguer une bonne réponse d’une réponse légèrement défectueuse, le pack ne peut être évalué de manière équitable.
Pourquoi j’ai créé cela
J’en avais assez de ne pas pouvoir distinguer les différents modèles. Je voulais un benchmark simple que n’importe qui pourrait exécuter sur n’importe quel modèle, avec des chiffres que chacun pourrait vérifier par lui-même. Je pensais que cela apporterait de la valeur.
Recherches associées : MakoBench · Comment MakoBench fonctionne · CrucibleForge · Tableau de référence pour les LLM · Benchmark open source pour les LLM · Grille d’évaluation de référence pour les LLM · Marge d’erreur de référence, bootstrap · Comparer les LLM locaux et hébergés
