Documentation

Comment le benchmark fonctionne, comment exécuter les mêmes tests sur vos propres modèles, et quelles sont les évolutions de la suite de tests.

Comment l’échelle de notation évolue

Chaque modèle passe le même test standard ; une exécution parfaite rapporte 10 points dans chaque catégorie. Un modèle obtenant au moins 90 % de résultats corrects débloque un ensemble de tests bonus plus difficile, qui ajoute des points supplémentaires. Chaque nouvelle version du benchmark a un maximum de points fixe ; l’ajout d’un nouvel ensemble de tests le fait augmenter. Lorsque les meilleurs modèles commencent à réussir cet ensemble, nous en ajoutons un encore plus difficile. Ainsi, il existe un test commun pour tous les modèles, qu’il s’agisse de petits modèles locaux ou d’API de pointe, et personne ne atteint jamais la limite maximale.

Coût d’exécution

Les modèles hébergés disposent d’un « Coût d’exécution » (désactivé par défaut ; à ajouter dans les colonnes) : il s’agit du coût d’une exécution des tests standard de codage et de conversation, calculé selon les tarifs publiés par le fournisseur, en tenant compte du nombre total de tokens envoyés et reçus pour chaque requête. Ce calcul exclut les ensembles de tests bonus, les tentatives de réexécution, le système d’évaluation (qui tourne sur notre propre matériel) ainsi que toute remise liée au cache ou aux heures creuses. Un symbole « ~ » indique que le fournisseur ne facture pas en fonction du nombre de tokens ; nous avons donc appliqué le prix catalogue. Un astérisque (*) signifie que certaines requêtes n’ont pas renvoyé de données d’utilisation. Un tiret indique que le modèle a été exécuté sur notre propre matériel.

« Built on » et versions antérieures

Chaque modèle possède une étiquette « Built on ». Pour les modèles hébergés, il s’agit de la gamme produit, par exemple Claude Opus ; pour les modèles locaux, c’est le modèle de base à partir duquel ils ont été entraînés, comme Gemma 4 31B. Ainsi, un modèle fine-tuné apparaît à côté de son modèle d’origine. La zone de filtrage correspond à la fois à cette étiquette et au nom du modèle.

L’option « Seules les dernières versions » masque les versions antérieures d’un fournisseur lorsqu’une version plus récente de la même gamme est présente dans le classement et possède un rang. Cette option est activée par défaut, donc les anciennes versions restent cachées ; décochez-la pour les voir (le système se souvient de votre choix, et un lien vers une ligne masquée permet toujours de la dévoiler). Lorsqu’elles sont visibles, ces lignes indiquent « version antérieure ». Un modèle fine-tuné conserve le nom de son modèle de base dans la colonne « Built on » et ne peut jamais être masqué par cette option.

MAX

Un modèle peut atteindre la première place dans tous les ensembles de tests d’une catégorie donnée. On le désigne alors comme « MAX ». Au-delà de ce niveau, les tests ne permettent plus de distinguer les modèles ; il est donc nécessaire d’ajouter un ensemble de tests encore plus difficile. Le nom de cet ensemble figure dans les détails associés à la ligne concernée.

Réponses bloquées

Le filtre de contenu du fournisseur peut bloquer certaines réponses. La ligne correspondante indique le nombre de réponses bloquées, avec une note explicative dans les détails ; chaque réponse bloquée obtient une note nulle, tout comme une réponse incorrecte. CrucibleForge détecte ces cas dans les transcriptions à chaque actualisation du classement, de sorte que les futures exécutions seront automatiquement identifiées sans intervention manuelle.

Pourquoi MakoBench ?

Le requin-mako à nageoires courtes est généralement décrit comme le requin le plus rapide de l’océan : Wikipédia mentionne des vitesses de pointe atteignant environ 74 km/h, bien que ces chiffres soient difficiles à mesurer et varient selon les estimations. Nous avons conçu cette suite de tests pour qu’elle s’exécute rapidement ; l’moteur open source CrucibleForge assure le travail en arrière-plan.