MakoBench : Banc principal

• Total = Code + Chat. 10 each is a perfect run of the standard tests, so 20 is the nominal top; bonus packs add points on top, up to the suite's most possible (a row's bars run to it).
• ± Total = la moitié de l’intervalle de 90 % obtenu par bootstrap sur les cas de test ; les modèles dont la valeur est inférieure à ce seuil sont statistiquement considérés comme équivalents.
• Chaque modèle est exécuté une seule fois ; donc l’écart ± indique quels cas ont été sélectionnés, et non les variations d’une exécution à l’autre. Cet écart sous-estime en réalité l’incertitude réelle. Ici, les lignes correspondant aux mêmes poids (comme pour les modèles « quant » et « serving-tier ») diffèrent de jusqu’à 2,4 points. Considérez les écarts d’un ou deux points comme des égalités.
• La classe est une catégorie générale selon le total : S ≥ 16, A ≥ 13, B ≥ 10, C ≥ 0.
• Lean = tendance au chat ou au code lorsque l’écart par rapport à la médiane du tableau est de 1,5 point ou plus ; sinon, équilibré.
• tok/s = vitesse de génération médiane ; uniquement comparable entre les modèles exécutés sur le même hôte.
• Quant = la quantification que nous avons évaluée. Q8_0 est la norme pour les modèles locaux ; toute autre quantification est indiquée comme non standard dans les détails de la ligne. API = un modèle hébergé, servi par son fournisseur.
• Coût d’exécution = coût d’une seule exécution des tests Code et Chat, selon les tarifs du fournisseur, pour la génération uniquement. ~ = estimation basée sur le nombre de tokens et les prix indiqués. * signifie que certaines requêtes sont revenues sans données d’utilisation ; le chiffre pourrait donc être sous-estimé. — = exécution sur notre propre matériel, donc pas de facture.
• N bloqués = le filtre de contenu du fournisseur a bloqué N réponses ; chacune obtient une note de zéro.
• Une ligne par modèle : les autres quantifications et niveaux de service utilisant les mêmes poids se trouvent sous la ligne principale (ouvrir la flèche) et ne sont pas classés.
• ⚠ Provisionnel = affiché sans classement ; la raison est indiquée dans la ligne (vérification de compatibilité échouée, tests non terminés, ou packs de bonus en attente d’une nouvelle exécution). Une ligne pouvant être exécutée à nouveau obtient un classement après cette nouvelle exécution ; les lignes testées en dessous de Q5 et les modèles trop petits pour tous les tests restent sans classement.
• Un tiret dans « Total » signifie qu’une partie de l’exécution de ce modèle (code, chat ou un pack bonus) n’a pas encore été évaluée ; par conséquent, elle n’est pas classée.

Nouveau ici ? Découvrez ce que mesurent les tests.