MakoBench Suite 4.0: Nominal 20, Klasse und Lean

Kurz gesagt: MakoBench ist unser öffentliches Testpanel für Sprachmodelle. Suite 4.0 stellt den aktuellen Testkatalog dar. Die Hauptänderung besteht darin, dass „Total“ nun aus „Code“ und „Chat“ besteht – jeweils 10 Punkte pro Kategorie bei einer perfekten Ausführung; somit beträgt die maximale Punktzahl 20. Zusätzliche Bonuspunkte können noch hinzukommen. Außerdem wurden alle Modelle erneut getestet. Diese Seite listet auf, was sich seit Suite 3.0 geändert hat und warum – damit Sie wissen, welche alten Werte weiterhin Bedeutung haben. Sie beschreibt außerdem die öffentlichen CrucibleForge-Versionen und kennzeichnet alle anderen.

Zu CrucibleForge auf GitHub

Die Suite 4.1 ersetzte diese Suite am 10. November 2026. Siehe MakoBench 4.1: Was hat sich geändert. Die Ergebnisse der Suite 4.0 sind weiterhin im Suite-Verlauf zu finden.

Die Suite 4.0 war bis zur Einführung von Version 4.1 die aktuelle Test-Suite von MakoBench; sie wurde von CrucibleForge 4.0.0 erstellt. Version 4.0.1 enthielt lediglich Korrekturen bezüglich des Containers und der Plattform – beide sind öffentliche Releases. Die wichtigste Änderung: Der Gesamtwert beträgt nun nominal 20; alle Tests wurden unter diesen neuen Bedingungen erneut ausgeführt. Die Ergebnisse der Suite 3.0, die auf einer Skala von 100 bewertet wurden, sind zwar im Suite-Verlauf vermerkt, sind jedoch nicht vergleichbar.

Kurz gesagt:

Der Gesamtwert beträgt nominal 20. Ein perfektes Ergebnis bei den Standardtests bedeutet: Code-Bewertung 10 plus Chat-Bewertung 10. Zusätzliche Bonustests erhöhen diesen Wert noch weiter – somit können Code-, Chat- und Gesamtwerte jeweils über 10 bzw. 20 liegen. Jede Testversion hat ein festes Maximum; neue Testpakete erhöhen dieses Limit.
Schneller und weniger „laut“. Die langsamsten sowie am meisten „lärmenden“ Tests wurden entfernt; außerdem wurden die langen Chat-Sitzungen verkürzt, wobei alle Ergebnisse erhalten blieben.
Zwei neue Spalten: „Klasse“ (S, A, B, C) sowie „Ausrichtung“ (chat-lastig, code-lastig oder ausgewogen).
NSFW-Tests wurden aus der Hauptübersicht entfernt. Sie befinden sich nun neben der Tabelle und fließen niemals in den Gesamtwert ein.
Einige Erweiterungen sind noch nicht veröffentlicht. Diese sind am Ende der Liste als solche gekennzeichnet.

Was enthält Suite 4.0?

In der Suite-Spalte des Boards steht „4.0.1“ sowie ein Content-Hash (e3d1c6fb). Der Hash ändert sich nur, wenn sich Inhalte ändern, die die Bewertungen beeinflussen – so erkennt das Board, dass eine Zeile veraltet ist. Von den 37 Modellen auf dem Board am 04.11.2026 haben 32 eine vollständige Bewertung; fünf kleine Modelle sind noch unvollständig und weisen keinen „Total“-Wert auf. Die Bewertungen wurden unter den Versionen 4.0.0 bzw. 4.0.1 vergeben – diese unterscheiden sich lediglich in der Testinfrastruktur. Fünf Zeilen tragen immer noch eine „3.9“-Bewertung und sind im Board entsprechend gekennzeichnet. Älteste Änderungen zuerst.

4.0.0: „lite“, veröffentlicht am 2026-10-31

„Total“ umfasst die Bewertungen für Code und Chat. Die Code-Bewertung setzt sich aus Funktionen (5 Punkte), Vorhersagefähigkeit sowie Fehlersuche (2,5 Punkte) sowie dem Einsatz von Werkzeugen (2,5 Punkte) zusammen. Der Bereich „Reasoning“ sowie einige langsame oder fehleranfällige Tests wurden entfernt; die separate Unterbewertung „Reasoning“ existiert nicht mehr. Beim Chat bleiben die gleichen Prüfkriterien bestehen – allerdings in kürzeren Sitzungen.
NSFW-Bewertungen bleiben separat und werden nie in die Gesamtbewertung einbezogen. Sie haben ihre eigene Registerkarte: „+NSFW Bench“.
„Class“ und „Lean“. „Class“ ist eine grobe Einstufung basierend auf der Gesamtbewertung: S ab 16 Punkten, A bei 13 Punkten, B bei 10 Punkten; darunter gilt die Kategorie C. „Lean“ vergleicht, wie stark die Chat- und Code-Bewertungen eines Modells von den Mittelwerten abweichen – eine Abweichung von 1,5 Punkten oder mehr wird als Problem markiert.
„Overflow“-Regel. Eine Zeile, bei der das Ausgabebudget aufgebraucht wird, gilt auf dem Bewertungsblatt als fehlgeschlagen – auch nach einem erneuten Versuch.
Einmaliger Nachlauf. Anstatt für jedes Modell einen separaten Nachlauf durchzuführen, werden Zeilen, bei denen das Budget aufgebraucht wurde, nur noch einmal mit 65.536 Tokens nachgeprüft – und zwar nachdem jedes Modell bereits einen Lauf absolviert hat.
Kürzere Ausführungen. Die Codierungsläufe erfolgen nun pro Frage nur noch einmal; mehrere mehrstufige Chat-Sitzungen wurden verkürzt, indem benachbarte Benutzerantworten zusammengefasst wurden – wobei alle Prüf- und Bewertungsfragen erhalten blieben. Der Planer schätzt nun die Ausführungszeit eines Modells anhand seiner eigenen vorherigen Ergebnisse.
Lizenz: MIT-0. Bis zur Version 3.7.0 galt die MIT-Lizenz.
Erste Bonus-Sets. Für jede Unterbewertung gibt es ein anspruchsvolleres Testpaket – das ist die einzige Möglichkeit, mehr als 10 Punkte zu erreichen.

4.0.1: Behebungen bezüglich Container und Plattform (2026-11-01)

Version 4.0.1 (Tag v4.0.1) behebt ein Problem im Smoke-Test des Container-Images: cases verify stürzt nicht mehr ab, wenn der entsprechende Node fehlt – was im veröffentlichten Image der Fall ist – und meldet diese Fälle stattdessen als übersprungen. Im Changelog werden außerdem Korrekturen für macOS und Windows sowie ein Kontakt zur Datei SECURITY.md aufgeführt. Diese späteren Änderungen befinden sich nach dem Tag auf dem öffentlichen Main-Branch; daher enthält ein frischer Clone sie, der Tag selbst jedoch nicht. Der Inhalt der Testfälle sowie der Hash-Wert des Test-Sets blieben unverändert; deswegen liegen die Ergebnisse von 4.0.0 und 4.0.1 auf demselben Board.

Als Bewertungsmodul für dieses Test-Set kommt Gemma 4 31B (uncensored „heretic“-Build, Q8) auf unserer eigenen GPU-Anlage zum Einsatz. DeepSeek Flash ist lediglich ein Ersatz-Kandidat in CrucibleForge – das hier verwendete Bewertungsmodul ist es nicht. Für jedes Test-Set wird ein eigenes Bewertungsmodul verwendet; diese Seite wird aktualisiert, sobald sich das Bewertungsmodul ändert.

Noch nicht veröffentlicht

Die folgenden Funktionen befinden sich in unserer eigenen Version von CrucibleForge. Sie sind noch nicht in einer öffentlichen Veröffentlichung enthalten; daher werden sie bei einem frischen Klon des Tools nicht vorhanden sein, und der öffentliche Changelog listet sie ebenfalls nicht auf.

Eine fairere Bewertungslogik für Fragen. In einer Rollenspiel-Sitzung enthielt eine Bewertungsfrage vier Unterfragen gleichzeitig. Eine Antwort, die alle Antworten außer einem Detail enthielt, wurde als vollständiges Fehlverhalten gewertet. Wir haben die Frage in mehrere einzelne Fragen aufgeteilt und die gespeicherten Antworten neu bewertet – ohne sie erneut zu generieren. Dies ist kein Bestandteil von Version 4.0.1; der öffentliche Changelog listet es nicht auf.
Wiedergabe der Überlegungen des Modells. Einige Anbieter benötigen, dass die Überlegungen des Modells zusammen mit dem Gespräch zurückgesendet werden. Ein pro-Anbieter-Schalter ermöglicht dies; standardmäßig ist er nur für den Anbieter aktiviert, der auf die MiniMax-API verweist.
Eine Anforderung pro Bewertungsfrage. Eine Prüfung, die es verhindert, dass komplexe Bewertungsfragen akzeptiert werden, falls sie gegen irgendeine Vorgabe verstoßen.
Eine Konformitätsprüfung. Ein Befehl, der mittels einiger einfacher Abfragen prüft, ob die vom Modell gesetzten Parameter korrekt sind; anschließend wird festgehalten, unter welchen Einstellungen jede Antwort bewertet wurde.
Ein Filtermenü in jeder Spalte des CrucibleForge-Boards. Die MakoBench-Tabelle verfügt über eine eigene Version dieses Menüs.

Bis diese Funktionen offiziell veröffentlicht werden, betrachten Sie sie bitte als reine Übungszwecke – nicht als Features, die Sie nutzen können.

Was das für die Zahlen bedeutet

Vergleichen Sie die Ergebnisse ausschließlich innerhalb der Suite 4.0. Das Board der Version 3.0 (32 Modelle von insgesamt 100) finden Sie im Suite-Verlauf.
Die Nummer der Suite änderte sich zwischen 4.0.0 und 4.0.1 nicht – weil sich der Inhalt der Testfälle nicht verändert hat.
Lesen Sie zuerst die Randangaben vor der Reihenfolge der Tests. Wie das geht, erfahren Sie in Wie MakoBench funktioniert.

Das öffentliche Changelog befindet sich im CrucibleForge-Repository.