MakoBench : +Banc NSFW

47e sur 56 modèles Suite 4.1, le livre a été publié en Novembre 2026. Cliquez sur un en-tête de colonne pour trier, sur la flèche à côté d’un nom pour voir tous les détails de ce modèle, et sur le i à côté d’un en-tête pour en comprendre la signification. Colonnes permet de choisir ce qui s’affiche ; Exporter enregistre le tableau.

Test séparé de fiction pour adultes avec uniquement des personnages adultes ; ne fait pas partie du Total.

Nous testons les modèles locaux sur une seule machine : deux cartes graphiques RTX 5090 et deux RTX 3090, soit environ 112 Go de mémoire vidéo au total. Le juge utilisé est Gemma 4 31B (Q8). Les modèles hébergés s’exécutent via leurs propres API. Ce que le dispositif peut tester

• Total = Code + Chat. 10 pour chaque catégorie correspond à un déroulement parfait des tests standard ; donc 20 est la note maximale nominale. Les packs de bonus ajoutent des points supplémentaires, jusqu’à atteindre le maximum possible pour l’ensemble (les barres dans une ligne montrent ce plafond). Le score NSFW correspond à un test séparé (mesure dans quelle mesure le modèle gère les contenus pour adultes) et ne fait pas partie du Total. Un score plus élevé n’est ni meilleur ni pire : choisissez celui qui convient à votre utilisation.
• Chaque score est normalement de 10 aux tests standards. Une note de 90 % ou plus débloque un ensemble de défis plus difficiles, rapportant 1 point supplémentaire ; ainsi, les scores pour le Code, le Chat et le contenu NSFW peuvent dépasser 10, atteignant jusqu’à 10 plus un point par pack de la suite.
• ± Total = la moitié de l’intervalle de 90 % obtenu par bootstrap sur les cas de test ; les modèles dont la valeur est inférieure à ce seuil sont statistiquement considérés comme équivalents.
• Chaque modèle est exécuté une seule fois ; donc l’écart ± indique quels cas ont été sélectionnés, et non les variations d’une exécution à l’autre. Cet écart sous-estime en réalité l’incertitude réelle. Ici, les lignes correspondant aux mêmes poids (comme pour les modèles « quant » et « serving-tier ») diffèrent de jusqu’à 2,4 points. Considérez les écarts d’un ou deux points comme des égalités.
• La classe est une catégorie générale selon le total : S ≥ 16, A ≥ 13, B ≥ 10, C ≥ 0.
• Lean = tendance au chat ou au code lorsque l’écart par rapport à la médiane du tableau est de 1,5 point ou plus ; sinon, équilibré.
• tok/s = vitesse de génération médiane ; uniquement comparable entre les modèles exécutés sur le même hôte.
• Quant = la quantification que nous avons évaluée. Q8_0 est la norme pour les modèles locaux ; toute autre quantification est indiquée comme non standard dans les détails de la ligne. API = un modèle hébergé, servi par son fournisseur.
• Coût d’exécution = coût d’une seule exécution des tests Code et Chat, selon les tarifs du fournisseur, pour la génération uniquement. ~ = estimation basée sur le nombre de tokens et les prix indiqués. * signifie que certaines requêtes sont revenues sans données d’utilisation ; le chiffre pourrait donc être sous-estimé. — = exécution sur notre propre matériel, donc pas de facture.
• N bloqués = le filtre de contenu du fournisseur a bloqué N réponses ; chacune obtient une note de zéro.
• Une ligne par modèle : les autres quantifications et niveaux de service utilisant les mêmes poids se trouvent sous la ligne principale (ouvrir la flèche) et ne sont pas classés.
• ⚠ Provisionnel = affiché sans classement ; la raison est indiquée dans la ligne (vérification de compatibilité échouée, tests non terminés, ou packs de bonus en attente d’une nouvelle exécution). Une ligne pouvant être exécutée à nouveau obtient un classement après cette nouvelle exécution ; les lignes testées en dessous de Q5 et les modèles trop petits pour tous les tests restent sans classement.
• Un tiret dans « Total » signifie qu’une partie de l’exécution de ce modèle (code, chat ou un pack bonus) n’a pas encore été évaluée ; par conséquent, elle n’est pas classée.