Jacob Lloyd — mit KI-Unterstützung geschrieben, im Nachhinein
Lesezeit
18 Min. Lesezeit
Kurz gesagt: MakoBench ist eine öffentliche Bewertungsplattform für Sprachmodelle. Jedes Modell muss die gleichen Tests bestehen: Für den „Code“-Test gibt es 10 Punkte, für den „Chat“-Test ebenfalls 10 Punkte. Die Gesamtpunktzahl ergibt sich aus der Summe beider Werte. Schwierigere Bonusaufgaben stehen Modellen zur Verfügung, die in einem der Tests mindestens 90 Prozent erreichen – dadurch können weitere Punkte hinzugewonnen werden. Auf dieser Seite wird jeder Schritt in einem Diagramm dargestellt.
Ein gemeinsamer Test. Jedes Modell beantwortet dieselben Standardfragen. Der Code-Teil ist mit 10 Punkten bewertet, der Chat-Teil ebenfalls mit 10 Punkten – insgesamt also 20 Punkte bei den Standardtests.
Code wird ausgeführt, Chat wird bewertet. Die Code-Antworten werden anhand versteckter Tests geprüft. Ein Bewertungsmodell bewertet die Chat-Antworten und muss dabei die zugrundeliegenden Beweise angeben.
Jede Punktzahl hat einen Toleranzbereich. Modelle, deren Punktzahlen innerhalb des jeweiligen Toleranzbereichs liegen, gelten als gleichwertig – unabhängig von der Reihenfolge.
Bonus-Sets geben mehr als 10 Punkte. Erreicht ein Modell in einem Abschnitt 90 % oder mehr, werden schwierigere Bonus-Sets freigeschaltet. Jedes dieser Sets bringt bis zu 1 zusätzlichen Punkt.
Nichts bringt Punkte für Nichtantworten. Die Tests messen ausschließlich das Verhalten der Modelle, wenn sie gefragt werden.
Der Engine-Code ist offen.CrucibleForge auf GitHub steuert den gesamten Testprozess – Sie können ihn ebenfalls ausführen.
Die Beispiele basieren auf dem „Suite 4.0“-Testboard, das am 7. November 2026 veröffentlicht wurde. Suite 4.1 korrigiert die Antwortschlüssel und berechnet erneut die Punktzahlen aller Modelle – unter Anwendung derselben Bewertungs- sowie Bonusregeln. Die Details zu den Änderungen in Suite 4.1 sowie die neuen Punktzahlen finden Sie unter „Was hat sich in Suite 4.1 geändert?“.
Was ist MakoBench?
Jedes Modell durchläuft dieselben sechs Schritte.
MakoBench ist eine öffentliche Rangliste für Sprachmodelle – sowohl lokale als auch gehostete –, die alle nach demselben Verfahren bewertet werden. Es werden zwei Aufgaben gemessen: das Schreiben funktionierenden Codes sowie das Führen von Rollenspiel- oder Gesprächssimulationen. Die vollständige Übersicht über das, was MakoBench testet und was nicht, finden Sie unter Was MakoBench testet und was es nicht testet.
Ein reales Beispiel: Claude Sonnet 4.5 bei der Bearbeitung des Tool-Use-Testfalls TZ19, Suite 4.0.
Ein Fall ist eine Aufgabe: eine Funktion, die geschrieben werden muss, ein Programm, dessen Ausgabe vorhergesagt werden soll, ein Chat-Tool oder eine lange Rollenspiel-Sitzung. Jeder Fall wird in kleinere Teile bewertet – beispielsweise Gruppen versteckter Tests oder die einzelnen Schritte eines Chats –, sodass eine fast korrekte Antwort den Großteil der Punkte einbringt. Jeder Standardfall wird einmal ausgeführt.
Der Richter muss seine Begründung nachweisen. Eine Antwort „JA“ ohne passenden Zitatauszug zählt als „NEIN“.
Der Code benötigt niemals eine Meinung – der Chat hingegen schon. Deshalb beantwortet ein Richter-Modell, also ein weiteres Sprachmodell, Ja/Nein-Fragen zu jeder Chat-Antwort. In unserem Fall handelt es sich dabei um Gemma 4 31B (eine „unkontrollierte“, unzensierte Version im Q8-Format) auf unserer eigenen GPU-Anlage; Q8 bedeutet eine 8-Bit-Kopie der Gewichte des Modells. Eine Antwort „JA“ zählt nur dann, wenn ein wortgetreuer Zitatauszug angegeben wird – schließlich neigen Richter-Modelle dazu, zu leichtfertig mit „JA“ zu antworten. Vor jeder Batch-Verarbeitung muss der Richter eine bekanntermaßen korrekte Antwort erkennen sowie eine bekanntermaßen falsche ausfindig machen; andernfalls wird die Verarbeitung abgebrochen.
Wenn eine einzelne Frage allein dazu führen kann, dass ein Fall abgelehnt wird, wird diese Frage dreimal gestellt. Sie gilt nur dann als bestanden, wenn die Mehrheit der Antworten „JA“ lautet; bei einem Unentschieden zählt sie als „NEIN“.
Jeder Balken stellt einen Teilbereich dar; seine Länge entspricht seinem Anteil an den Gesamtpunkten.
Jeder Teilbereich erhält seinen prozentualen Anteil an den Punkten: „Funktionen“ machen 76 % aus – das entspricht 3,8 von insgesamt 5 Punkten. Alle Teilbereiche addieren sich zum Gesamtergebnis aus Code und Chat. Der separate Erwachsenentest verfügt über ein eigenes Profil und wird niemals in die Gesamtpunktzahl einbezogen.
Details: Das Profil bench.yaml listet alle Teilbereiche, ihre Punktzahlen sowie die zugehörigen Aufgaben auf.
Der ±-Abstand
Das „±“ zeigt an, wie stark das Gesamtergebnis davon abhängt, welche Fälle in der Auswahl enthalten sind. Die Form des Histogramms dient nur zur Veranschaulichung.
Ein paar andere Fälle würden zu einem leicht abweichenden Gesamtwert führen. Der Abstand zeigt, um wie viel sich der Wert unterscheidet. Zwei Modelle, deren Abstand kleiner ist als dieser Wert, gelten statistisch gesehen als gleichwertig. Der Abstand berücksichtigt jedoch nicht die Schwankungen zwischen einzelnen Durchläufen – daher sollte auch ein Unterschied von einem oder zwei Punkten als Gleichstand betrachtet werden.
Die Klassen stellen grobe Bereiche dar. Ein Toleranzbereich, der eine Klassengrenze überschreitet, bedeutet, dass die Zuordnung zur Klasse unsicher ist. Die Werte stammen aus dem 4.0-Testset.
Bezeichnung
Bedeutung
Klasse
S ab 16 Punkten, A ab 13, B ab 10, C darunter.
Schwerpunkt
„Chat-leaning“ oder „Code-leaning“: Wenn ein Modell im Vergleich zum Mittelwert der Tests um mindestens 1,5 Punkte besser abschneidet – sonst ist es ausgewogen.
Unvollständig
Nicht alle Tests wurden abgeschlossen. Es liegen Werte vor, aber kein Gesamtergebnis, keine Klasse oder Rangplatz.
Vorläufig
Unsere Überprüfung ist fehlgeschlagen; das Testprogramm könnte dieses Modell falsch bewerten. Bis zu einem erneuten Test gibt es keinen Rang oder keine Klasse.
(Set 1)
Dieser Bereich enthält Bonuspunkte; die Zahl gibt das höchste erreichte Bonusniveau an.
MAX
90 % oder mehr in allen Standard- sowie Bonustests. Es bleiben keine schwierigeren Aufgaben mehr übrig – daher ist ein neues Testset erforderlich.
Jeder Balken stellt einen Bereich dar: Der gefüllte Teil zeigt, welchen Wert das Modell erzielt hat; die gestrichelte Linie markiert 90 Prozent. Suite-4.0-Testboard, veröffentlicht am 7. November 2026.
Claude Sonnet 4.5 absolvierte ausschließlich das Standard-Set. So werden die erzielten Werte in die einzelnen Bereiche umgerechnet.
Erfolgsquote: TZ16 3 von 6, TZ19 7 von 11, TZ20 vollständig erfolgreich. Durchschnitt: 0,71.
0,71 × 2,5 = 1,8
Chat-Bereiche
Für jeden Bereich wurden zwei Bewertungssitzungen durchgeführt.
2,0 + 2,0 + 1,3 + 1,4 = 6,7
Gesamtergebnis: 6,1 + 6,7 = 12,8 ± 1,1, Klasse B. Der beste Bereich, „Funktionen“, erreichte lediglich 76 Prozent – das reicht nicht aus, um das Bonus-Set freizuschalten (Schwelle: 90 Prozent). Daher blieben alle Bonus-Sets gesperrt; die Gesamtpunktzahl basiert ausschließlich auf dem Standard-Set. Die meisten Modelle auf dem Testboard befinden sich in derselben Situation.
Bonus-Sets
Wie ein Bonus-Set freigeschaltet wird
Ein Abschnitt – von oben nach unten. Jeder Abschnitt in „Code“ und „Chat“ hat seine eigene Freischaltstruktur.
Ein Bonus-Set ist eine Gruppe schwierigerer Fragen – meist drei – für einen bestimmten Abschnitt. CrucibleForge bezeichnet sie als „Ladder Packs“. Die Regeln:
Freischaltung: Die Sets eines Levels werden erst freigeschaltet, wenn das Modell mindestens 90 Prozent bei den Standardfragen des Abschnitts sowie in allen Sets der vorherigen Level erreicht hat.
Gesperrt, freigeschaltet, ausstehend: Gesperrt: noch nicht erworben. Freigeschaltet: erworben und daher ausführbar. Ausstehend: erworben, aber noch nicht ausgeführt oder bewertet – zählt vorerst 0 Punkte.
Maximal 1 Punkt pro Set: Die Fragen eines Sets teilen sich diesen einen Punkt; es gibt Teilpunkte: Zwei von drei richtigen Antworten ergeben etwa 0,67 Punkte. Falls eine Frage zweimal gestellt wird, werden beide Versuche gemittelt.
Level-Struktur: Alle Sets eines Levels werden gemeinsam freigeschaltet; jedes trägt seinen Anteil zum Gesamtpunktestand des Abschnitts bei.
Seit Version 4.1 sind alle Sets Level 1. „Code“ verfügt über drei Sets – jeweils einen pro Abschnitt – und „Chat“ über fünf („Deep Role-Play“ enthält zwei). Somit können in „Code“ maximal 13 und in „Chat“ maximal 15 Punkte erreicht werden. Ein Abschnitt, für den noch keine Standardfragen vorliegen, schaltet seine Sets niemals frei.
Beispiel: Ein Modell, das ein Bonusset freischaltet
Reale Werte vom Suite 4.0-Board sowie den dort gespeicherten Ergebnissen.
DeepSeek V4 Flash absolvierte alle sechs Standardprogramme des Bereichs „Functions“ erfolgreich – dadurch wurde das zugehörige Bonusset freigeschaltet. Dieses Set umfasst drei neu erstellte Aufgaben, die jeweils zweimal ausgeführt wurden. Bei einer dieser Aufgaben wurden in einem Durchgang 4 von 6 Testgruppen richtig gelöst; im anderen Durchgang ergab sich keine Punktzahl – somit beträgt der Wert für diese Aufgabe 0,33. Der Anteil dieses Sets berechnet sich zu (0 + 0 + 0,33) ÷ 3 = 0,11. Auch die anderen Bereiche „Code“ sowie „Kreatives Schreiben“ konnten ihre jeweiligen Bonussets freischalten. Insgesamt erreichte DeepSeek V4 Flash einen Code-Wert von 11,2 – also über 10 – sowie eine Gesamtpunktzahl von 19,2 ± 0,8.
Beim Bereich „Deep Role-Play“ lag die Ergebnisquote bei 74 Prozent; daher blieben die zugehörigen Bonussets weiterhin gesperrt. Jeder Bereich kann seine eigenen Bonussets unabhängig voneinander freischalten.
Wie der Test erstellt wurde
Aktualisierung der Fälle
Jede gespeicherte Antwort trägt einen „Stempel“ des jeweiligen Fallinhalts; dadurch kann das System eine aktuelle von einer veralteten Antwort unterscheiden.
Jede gespeicherte Antwort enthält einen „Stempel“ des Falls, zu dem sie gehört. Wenn sich ein Fall ändert, werden nur die betroffenen Teile erneut bearbeitet. Alte und neue Antworten vermischen sich niemals. Weitere Details: Die Fall-Stempel (version.py).
Die Überprüfung der Antwortschlüssel in Suite 4.1
So entstand Suite 4.1. Details dazu im Artikel zu Suite 4.1.
Ein Antwortschlüssel kann auf zwei Arten falsch sein: Er kann eine falsche Antwort akzeptieren oder eine richtige ablehnen, indem er mehr verlangt, als in der Aufgabenstellung gefordert war. Bei Suite 4.1 lasen zwei Prüfer jeden öffentlich verfügbaren Antwortschlüssel eigenständig; außerdem wurden alle behaupteten Aussagen anhand gespeicherter Antworten überprüft, bevor etwas geändert wurde. Auch das Verweigern einer Antwort brachte keine Punkte ein – kein Fall belohnt eine Ablehnung. Unter Suite 4.1: Was hat sich geändert sind alle Korrekturen aufgelistet.
Von der ersten Suite zu neuen Packs
Oben: Die bisherige Entwicklung der Suite. Unten: Der Prozess bei der Erstellung jedes neuen Packs.
Mit Version 3.9 wurden Bonus-Sets eingeführt, damit nicht alle Modelle die volle Punktzahl erreichen konnten. Die bisherigen Tests bleiben im Entwicklungsverlauf der Suite unverändert; alle Engine-Updates sind im CrucibleForge-Changelog dokumentiert.
Wenn Modelle in einem Bereich die maximale Punktzahl erreichen, ist ein anspruchsvolleres Bonus-Set (also ein neues Pack) erforderlich – und jedes neue Pack durchläuft den oben beschriebenen Prozess. Besonders wichtig ist dabei die Bewertungsprüfung: Falls der Bewerter eine gute Antwort nicht von einer subtil falschen unterscheiden kann, lässt sich das Pack nicht fair bewerten.
Warum ich das gebaut habe
Ich hatte es satt, dass man die Modelle nicht auseinanderhalten konnte. Ich wollte einen schnellen Benchmark, den jeder ausführen kann – auf jedem Modell – mit Zahlen, die man selbst überprüfen kann. Ich dachte, das wäre von Nutzen.
