MakoBench ajoute une colonne « Coût d’exécution »

En clair : MakoBench est notre plateforme publique pour les modèles linguistiques. Les modèles hébergés comportent désormais un coût d’exécution : il s’agit du prix d’une exécution des tests standard de Code et de Chat, selon les tarifs publiés par le fournisseur. Pour les modèles locaux, un tiret est affiché car ils s’exécutent sur notre propre matériel. Lorsqu’un filtre de contenu du fournisseur bloque une réponse, cette information est indiquée dans la ligne correspondante et la réponse reçoit une note de zéro.

Le tableau comporte désormais une nouvelle colonne, Coût d’exécution. Pour un modèle hébergé, il s’agit du coût d’une exécution complète des tests standard « Code » et « Chat », au prix publié par le fournisseur, en tenant compte du nombre total de tokens envoyés et reçus, y compris les tokens liés au processus de réflexion.

Ce qui n’est pas pris en compte. Les ensembles de tests bonus, les tentatives de réexécution, le système d’évaluation (qui fonctionne sur notre propre matériel), ainsi que tout rabais lié au cache ou aux heures creuses. Le montant indiqué correspond approximativement au prix en tarif normal.
~ devant un chiffre. Le fournisseur ne facture pas au nombre de tokens (il s’agit d’un forfait), donc nous avons calculé le coût en appliquant les tarifs listés.
* après un chiffre. Certaines requêtes n’ont pas renvoyé de données d’utilisation ; le chiffre indiqué pourrait donc être sous-estimé.
Un tiret. Le modèle a été exécuté sur notre propre matériel. Il n’y a donc aucune facture à payer.

Dans cette même version, les réponses bloquées sont également signalées. Certains fournisseurs utilisent un filtre de contenu capable de refuser de renvoyer une réponse. Les lignes concernées portent alors une petite mention « bloqué » ainsi qu’une note dans les détails. Une réponse bloquée obtient une note de zéro, tout comme une réponse échouée. CrucibleForge détecte ces cas dans les transcriptions à chaque actualisation ; par conséquent, les exécutions ultérieures seront automatiquement identifiées.

Deux mises à jour du tableau

Seules les dernières versions. Une case à cocher, activée par défaut, masque un modèle lorsqu’une version plus récente de celui-ci est présente dans le tableau ; ainsi, Claude Opus 5 laisse donc la place à la version 5.5. Cette case ne masque jamais les versions fine-tunées. Chaque ligne comporte également une étiquette Basé sur, indiquant la gamme de produits pour les modèles hébergés ainsi que les poids de base pour les modèles locaux ; le filtre fonctionne en conséquence.
MAX. Un petit symbole MAX apparaît lorsqu’un modèle atteint la première place dans tous les ensembles de tests d’une catégorie donnée. Comme les tests ne permettent pas de distinguer ces modèles entre eux, il faudra préparer un ensemble de tests plus difficile pour cette catégorie.

Le tableau est également plus facile à lire sur un téléphone. Les noms des modèles s’affichent désormais en entier, avec les noms courts en remplacement des longs noms de fichiers ; en outre, un indice apparaît lorsque le tableau nécessite un défilement horizontal.

Vous trouverez plus de détails dans la documentation ainsi que dans Comment fonctionne MakoBench.