Historique de la suite MakoBench : versions antérieures
- Catégorie
- IA et LLM locaux
- Publié
- 5 novembre 2026
- Mis à jour
- 10 novembre 2026
- Par
- Jacob Lloyd — rédigé avec l'aide de l'IA, une fois le projet terminé
- Temps de lecture
- 2 min de lecture
En clair : Les scores MakoBench n’ont de sens qu par rapport à la version des tests qui les a générés. Lorsque les tests changent, nous relançons les modèles et conservons l’ancien tableau tel quel. Cette page liste chaque version du jeu de tests ainsi que l’emplacement de son tableau correspondant.
Aller à : CrucibleForge sur GitHub
Les tests qui constituent MakoBench évoluent de temps à autre. Un score n’a de sens que par rapport au jeu de tests qui l’a généré ; c’est pourquoi nous ne comparons jamais les chiffres entre différents jeux de tests, et nous ne modifions jamais en secret une ancienne version du testboard.
Pourquoi les suites évoluent-elles ?
Nous supprimons les tests qui s’avèrent lents ou peu fiables, corrigeons les questions jugées injustes, et ajoutons des ensembles de questions plus difficiles à mesure que les modèles progressent. Lorsqu’un changement affecte les scores, tous les modèles sont à nouveau exécutés sur la nouvelle suite. Le tableau précédent est alors conservé tel quel, avec ses propres marges, sa propre échelle et la date à laquelle il a été créé.
Où se trouvent les anciennes versions des forums ?
Les pages « Main Bench », « +NSFW Bench » et « The tests » disposent chacune d’un menu de versions Suite en haut de page. Sélectionnez une version antérieure dans ce menu pour voir la page telle qu’elle était à l’époque.
Versions
- Suite 4.1 (version actuelle). Il s’agit d’une version de correction : aucun nouveau cas n’a été ajouté, et les corrigés ont été rectifiés après un examen approfondi. Consultez le Banc d’essai principal.
- Suite 4.0. Elle comprend à la fois Code et Chat, avec 10 points attribués pour chacun dans les tests standards. Remplacée par la suite 4.1 le 10 novembre 2026 ; comparez uniquement les modèles au sein d’une même suite. Pages : Banc d’essai principal, +Banc d’essai NSFW et Les tests.
- Suite 3.0. Les scores étaient calculés sur 100 points dans les anciens tests ; ne comparez donc pas ces chiffres avec ceux de la suite 4.0. Le banc d’essai archivé contient 32 modèles et a été créé à partir du banc d’essai que nous avons archivé le 23 septembre 2026. Pages : Banc d’essai principal, +Banc d’essai NSFW et Les tests.
Qu’a-t-il changé entre les versions ?
Le compte rendu concernant la version actuelle est MakoBench 4.1 : qu’a-t-il changé ; celui de la version précédente est Suite 4.0 : qu’a-t-il changé. Pour chaque version du moteur, y compris celles qui n’ont pas modifié les scores, consultez le journal des modifications de CrucibleForge sur GitHub.
Voir aussi : Comment fonctionne MakoBench.