Propulsé par CrucibleForge
Actualités et mises à jour
Qu’a changé entre les suites, quelles sont les nouveautés sur la carte, et que avons-nous appris en la concevant ? Les pages de procédure se trouvent dans Documentation.
4 Défauts de mise en œuvre qui ont faussé mes scores de référence pour les LLM
Un nouveau modèle hébergé a obtenu un score inférieur à celui de son prédécesseur sur notre tableau de bord de référence, et ce chiffre correspond en grande partie à la réalité : notre harnais lui fait toujours perdre jusqu’à 1,7 point. Voici les quatre défauts, le coût de chacun d’eux, ainsi qu’un fichier zip gratuit permettant de tester votre propre harnais.
Critères de référence des modèles, cas d’utilisation et configuration : novembre 2026
Critères de performance des modèles, cas d’utilisation et configuration pour novembre 2026 : quel parmi les onze modèles choisir pour le codage ou les échanges conversationnels, selon vos besoins matériels ; une procédure en cinq étapes pour configurer l’environnement de codage ; ainsi que le coût d’un projet. Une exécution standard revient à 14,87 $ pour Claude Fable 5.2 et à 0,14 $ pour DeepSeek V4.1-Flash-1017.
Benchmark Claude Fable 5.2 : où il excelle, quel en est le coût
Claude Fable 5.2 obtient un score de 25,2 sur MakoBench 4.1 ; il se classe en première position dans un ex æquo statistique. Il a le meilleur score en matière de chat (12,7), un pack agentic parfait, n’a rien refusé, et coûte 14,87 $ par exécution.
MakoBench 4.1 : Qu’a-t-il changé ?
La mise à jour 4.1 est une version de correction sans aucun nouveau cas. Deux reviseurs de modèles indépendants ont examiné chaque corrigé public ; environ 190 problèmes ont été confirmés, et le test a été relancé : sur les 38 modèles évalués, 31 ont vu leur score augmenter tant dans la catégorie Chat que dans la catégorie Code.
MakoBench Suite 4.0 : Nominal 20, Class et Lean
Suite 4.0 attribue une note de 10 à la fois pour Code et Chat, au lieu d’un pourcentage ; elle élimine les tests les plus lents et les plus bruyants, et ajoute Class et Lean. Voici ce qui a changé dans la version publique, ainsi que ce qui se trouve dans notre propre copie de l’outil mais n’a pas encore été intégré à une version publiée.
Mon agent IA a créé un outil de benchmarking pour mes autres agents IA.
Notre agent de codage a écrit bench-llm : un programme de 1 660 lignes en Python qui sert à évaluer les modèles locaux dans LM Studio. En deux semaines, tous nos modèles ont obtenu une note de 5/5 ; nous avons donc remplacé ce programme par CrucibleForge : 276 cas de test, dont 166 difficiles, disponible gratuitement sur GitHub.
MakoBench ajoute une colonne « Coût d’exécution »
Les modèles hébergés sur la carte MakoBench indiquent désormais le coût d’une exécution des tests standards « Code » et « Chat ». Les réponses bloquées par le filtre de contenu du fournisseur sont signalées dans la ligne correspondante et reçoivent une note de zéro.
Ouvrir le banc principal Les chiffres derrière chaque page ici.