So funktioniert MakoBench: Erklärung des Open-Source-LLM-Benchmarks

Zu CrucibleForge auf GitHub

Die Beispiele basieren auf dem Suite-4.0-Testboard, wie es am 7. November 2026 veröffentlicht wurde. Suite 4.1 korrigiert die Antwortschlüssel und berechnet erneut die Punktzahlen aller Modelle – unter Beibehaltung der gleichen Bewertungsregeln sowie der Bonus-Regeln. Was sich in Suite 4.1 geändert hat enthält die Details sowie die neuen Punktzahlen.

Was ist MakoBench?

Vom Modell zur Bewertung

1. Ein ModellLokal auf unserem System oder über eine gehostete API verfügbar
2. Die StandardfragenFür jedes Modell dieselben Fragen
3. Die Antworten des ModellsGespeichert, damit sie später erneut bewertet werden können
4. BewertungCode: Wird gegen versteckte Tests sowie anhand exakter Ausgaben geprüft. Chat: Wird mithilfe eines Bewertungsmodells auf unserem System sowie textbasierten Regeln bewertet.
5. ErgebnisseCode- und Chat-Ergebnisse ergeben die Gesamtpunktzahl – mit einem zulässigen Abweichungsbereich
6. Die BewertungstabelleRang, Kategorie sowie weitere Informationen zu den Modellen

MakoBench ist eine öffentliche Bewertungstabelle für Sprachmodelle – sowohl lokale als auch gehostete –, die alle nach demselben Verfahren bewertet werden. Es misst zwei Fähigkeiten: das Schreiben funktionierenden Codes sowie das Führen von Rollenspiel- oder Gesprächen. Was MakoBench testet und was nicht enthält die vollständige Übersicht.

Als Bewertungsengine dient CrucibleForge, ein kostenloses und Open-Source-Tool unter der MIT-0-Lizenz. Sie können es auch für Ihre eigenen Modelle nutzen – die entsprechende Anleitung finden Sie unter CrucibleForge installieren für eigene Modelle.

Wie eine Bewertung zustande kommt

Ein Fall nach dem anderen

Wie ein einzelner Fall zu Punkten führt

1. Der FallEin Buchungs-Chat mit 11 Schritten; dabei sind „Fallen“ eingebaut.
2. Die AntwortWas das Modell sagt und welche Aktionen es ausführt.
3. Prüfungen, Schritt für SchrittWird das richtige Werkzeug verwendet? Sind die Argumente korrekt? Soll dem Nutzer geantwortet werden, anstatt ein Werkzeug aufzurufen?
4. 7 Schritte bestanden, 4 fehlgeschlagenPunktzahl: 7 / 11 = 0,64

Ein „Fall“ ist eine einzelne Aufgabe – eine Funktion, die geschrieben werden muss, ein Programm, dessen Ausgabe vorhergesagt werden soll, ein Tool-Chat oder eine lange Rollenspiel-Sitzung. Jeder Fall wird in kleinere Abschnitte unterteilt bewertet; so erhält eine fast korrekte Antwort den Großteil der Punkte. Jeder Standardfall wird nur einmal ausgeführt.

Details: die Liste der Beispielfälle sowie der Bewertungscode (graders.py).

Wie der Bewerter Chat-Antworten bewertet

So bewertet der Bewerter eine Chat-Antwort

1. Die AntwortEin Zug in einer Chat-Sitzung
2. Eine Frage„Hat die Figur ihr Versprechen gehalten?“
3. Das Bewerter-ModellGibt eine Antwort in Form von „JA“ oder „NEIN“
4. „JA“ + exaktes ZitatDer Code prüft das Zitat: Es muss mindestens 12 Zeichen enthalten und wortgetreu in der Antwort vorkommen.
5. Das ErgebnisWenn das Zitat gefunden wird, zählt „JA“. Fehlt es oder ist falsch, gilt es als „NEIN“.
6. Textregeln – ohne BewerterWortanzahl, verbotene Ausdrücke sowie zuvor festgelegte Fakten werden vom Code überprüft. Scheitert eine Antwort an diesen Prüfungen, gilt sie als „NEIN“.

Der Code benötigt keine Meinung – der Chat hingegen schon. Deshalb beantwortet ein Bewerter-Modell, also ein weiteres Sprachmodell, Ja/Nein-Fragen zu jeder Antwort. In diesem Fall handelt es sich um Gemma 4 31B (eine „uncensored“-Version, Q8) auf unserer eigenen GPU-Anlage; Q8 bedeutet eine 8-Bit-Kopie der Gewichte. Ein „JA“ zählt nur dann, wenn ein wortgetreues Zitat vorhanden ist – schließlich neigen Bewerter-Modelle dazu, zu leicht „JA“ zu antworten. Vor jeder Batch-Verarbeitung muss der Bewerter eine bekanntermaßen korrekte Antwort erkennen sowie eine bekanntermaßen falsche ausfindig machen; andernfalls wird die Verarbeitung abgebrochen.

Falls eine einzige Frage allein dazu führen kann, dass ein Fall als gescheitert gilt, wird diese Frage dreimal gestellt. Erst bei einer Mehrheit an „JA“-Antworten gilt der Fall als bestanden; bei einem Unentschieden gilt er als gescheitert.

Details: Der Bewerter-Code (judge.py) sowie wie die Chat-Sitzungen ablaufen.

Code plus Chat ergeben die Gesamtpunktzahl

Code: 10 Punkte

• Funktionen56 Programme
• Vorhersagen & Fehlersuche2,53 Aufgaben
• Nutzung von Tools2,53 Chats

Chat: 10 Punkte

• Tiefgehendes Rollenspiel32 Sitzungen
• Konversation32 Sitzungen
• Charakterentwicklung22 Sitzungen
• Kreatives Schreiben22 Sitzungen

Jeder Bestandteil erhält den ihm zustehenden Punkteanteil: „Funktionen“ erhalten 76 % von 5 Punkten, also 3,8 Punkte. Die einzelnen Bestandteile summieren sich zu den Gesamtpunktzahlen für Code und Chat. Der separate Erwachsenentest verfügt über eigene Parameter und wird niemals in die Gesamtwertung einbezogen.

Details: In der Datei bench.yaml sind alle Bestandteile, ihre Punktzahlen sowie die zugehörigen Testfälle aufgelistet.

Der ±-Spielraum

Woher der Spielraum stammt

1. Die Fälle 1.000 Mal zufällig neu auswählenEin Fall kann dabei zweimal oder gar nicht vorkommen.
2. Jede Neuauswahl vollständig bewertenDas ergibt 1.000 Gesamtergebnisse.
3. Den mittleren 90 %-Bereich der 1.000 Gesamtergebnisse nehmenDieser Bereich wird farblich hervorgehoben.
4. ± = die Hälfte dieser BreiteClaude Sonnet 4.5: 12,8 ± 1,1

Eine andere Auswahl an Fällen würde zu einem leicht anderen Gesamtergebnis führen. Der Spielraum zeigt, um wie viel sich das Ergebnis ändern kann. Zwei Modelle, deren Werte näher beieinander liegen als ihr jeweiliger Spielraum, gelten statistisch gesehen als gleichwertig. Der Spielraum berücksichtigt jedoch nicht die Schwankungen zwischen einzelnen Ausführungen – daher sollte auch ein Unterschied von einem oder zwei Punkten als Gleichstand gewertet werden.

Details: Der Code zum Berechnen des Spielraums (headline.py).

Die Auswertung der Ergebnisse

Klassenbereiche

• Klasse CUnter 10Der niedrigste Bereich
• Klasse B10 und mehrVon 10 bis 13
• Klasse A13 und mehrVon 13 bis 16
• Klasse S16 und mehrVon 16 bis 20; darüber nur mit Bonus-Sets

Gesamtpunktzahl auf einer Skala von 0 bis 20

• Claude Sonnet 4.512,8 ± 1,1Klasse B
• DeepSeek V4 Flash19,2 ± 0,8Klasse S

Ausführungskosten, verwendete Technologien sowie weitere Spalten werden in der Dokumentation von MakoBench sowie im README zum Testboard erläutert.

Beispiel: Ein Modell auf dem Standard-Set

Code: 6,1 von 10

• Funktionen3,8von 5
• Vorhersage + Fehlersuche0,5von 2,5
• Werkzeugeinsatz1,8von 2,5

Chat: 6,7 von 10

• Tiefgehendes Rollenspiel2,0von 3
• Konversation2,0von 3
• Charakterdarstellung1,3von 2
• Kreatives Schreiben1,4von 2

Claude Sonnet 4.5 wurde ausschließlich mit dem Standard-Set getestet. So ergeben sich die einzelnen Bewertungen des Modells.

Gesamtpunktzahl: 6,1 + 6,7 = 12,8 ± 1,1 – Klasse B. Der beste Bereich, „Funktionen“, erreichte lediglich 76 % – das reicht nicht aus, um die 90 % zu erreichen, die für das Freischalten der Bonus-Sets erforderlich sind. Daher bleiben alle Bonus-Sets gesperrt; die Gesamtbewertung basiert ausschließlich auf dem Standard-Set. Die meisten Modelle auf dem Board befinden sich in derselben Situation.

Bonus-Sets

Wie ein Set freigeschaltet wird

So werden Bonus-Sets freigeschaltet – ein Beispiel

1. StandardfragenZum Beispiel bei dem Teil „Funktionen“.
2. 90 % oder mehr?Nein: Das Set bleibt gesperrt, 0 Punkte. Der Teil behält seine Standardpunktzahl. Ja: Die Level-1-Sets werden freigeschaltet; jedes Set bringt 1 Punkt.
3. AusstehendEin bereits freigeschaltetes Set, das noch nicht ausgeführt wurde: Aktuell 0 Punkte.
4. Jedes Set trägt seinen Anteil beiBeim Ausführen fügt ein Set 0 bis 1 Punkt hinzu.Bei 2 richtigen Antworten von 3 werden etwa 0,67 Punkte vergeben.
5. 90 % oder mehr bei jedem Level-1-Set?Nein: Die Punktzahl bleibt unverändert. Ja: Die Level-2-Sets werden freigeschaltet – und so weiter, Stufe für Stufe.
6. Gesamtpunktzahl des TeilsStandardpunkte plus der Anteil aller bereits ausgeführten Sets.

Ein Bonus-Set besteht aus einer Gruppe schwierigerer Fragen – meist drei – zu einem bestimmten Teil. CrucibleForge bezeichnet sie als „Ladder Packs“. Die Regeln sind folgende:

• Freischaltung. Die Sets eines Levels werden erst freigeschaltet, wenn man bei den Standardfragen dieses Teils sowie bei allen Sets der niedrigeren Level 90 % oder mehr erreicht hat.
• Gesperrt, freigeschaltet, ausstehend. Gesperrt: Noch nicht verdient. Freigeschaltet: Verdient und bereits ausgeführt. Ausstehend: Verdient, aber noch nicht ausgeführt oder bewertet – daher aktuell 0 Punkte.
• Maximal 1 Punkt pro Set. Die Fragen eines Sets teilen sich diesen Punkt; es gibt Teilpunkte: Bei 2 richtigen Antworten von 3 werden etwa 0,67 Punkte vergeben. Falls eine Frage zweimal gestellt wird, werden die Ergebnisse gemittelt.
• Level-Struktur. Alle Sets eines Levels werden gemeinsam freigeschaltet; jedes Set trägt seinen Anteil zur Gesamtpunktzahl des Teils bei.

Ab Version 4.1 sind alle Sets Level 1. „Code“ umfasst drei Sets – jeweils einen pro Teil – und „Chat“ fünf („Deep Role-Play“ enthält zwei). Somit kann „Code“ maximal 13 Punkte erreichen, „Chat“ bis zu 15 Punkte. Ein Teil, bei dem noch Standardfragen fehlen, schaltet seine Bonus-Sets niemals frei.

Details: Regeln zu Bonus-Sets, Freischaltcode (ladder.py) sowie öffentliche Bonus-Sets.

Beispiel: Ein Modell, das ein Set freischaltet

DeepSeek V4 Flash schaltet ein Bonus-Set frei

1. Funktionen: 6 StandardprogrammeAlle bestanden: 100 % – somit 5,0 Punkte.
2. 100 % liegt über 90 %: FreischaltungDas Bonus-Set zu „Funktionen“, Level 1, wird freigeschaltet.
3. 3 schwierige Fragen, jeweils zweimal gestelltFrage 1: 0 und 0 → 0,00; Frage 2: 0 und 0 → 0,00; Frage 3: 4 von 6 Testgruppen bestanden, anschließend 0 → 0,33.
4. Set-Anteil: 0,33 / 3 = 0,11„Funktionen“: 5,0 + 0,1 = 5,1 Punkte.
5. Deep Role-Play: 74 %Unter 90 % – daher bleiben die Bonus-Sets gesperrt: 2,2 von 3 möglichen Punkten.
6. Gesamtpunktzahl „Code“: 11,2 = 5,1 + 2,7 + 3,3Erst durch Bonus-Sets wird die Marke von 10 Punkten überschritten.

DeepSeek V4 Flash bestand alle sechs Standardprogramme zu „Funktionen“ – dadurch wurde das zugehörige Bonus-Set freigeschaltet: drei Programme, die jeweils zweimal ausgeführt wurden. Bei einem davon löste das Modell 4 von 6 Testgruppen; beim anderen ergab sich kein Ergebnis – somit gab es für diese Frage 0,33 Punkte. Der Set-Anteil betrug (0 + 0 + 0,33) ÷ 3 = 0,11 Punkte. Auch die anderen beiden „Code“-Teile sowie „Creative Writing“ schalteten ihre Bonus-Sets frei. Die Gesamtpunktzahl von „Code“ stieg auf 11,2 – über die Marke von 10 Punkten hinaus – und die Gesamtpunktzahl insgesamt auf 19,2 ± 0,8.

Beim Teil „Deep Role-Play“ erreichte das Modell nur 74 %; daher blieben die entsprechenden Bonus-Sets gesperrt. Jeder Teil schaltet seine Sets unabhängig voneinander frei.

Wie der Test erstellt wurde

Aktuelle Aufrechterhaltung der Fälle

Was eine Änderung eines Falls auslöst

• Wenn sich die Fragestellung oder ihre Tests ändernNeue AntwortenJedes Modell gibt erneut Antworten ab
• Wenn sich eine Bewertungsfrage ändertErneute BewertungDer Bewerter liest die gespeicherten Antworten erneut durch
• Wenn sich eine Textprüfung oder eine Antwort ändertErneute BewertungDie Antworten werden erneut bewertet; dabei werden keine Modelle aufgerufen
• Wenn sich nichts ändertUnverändertDie gespeicherten Antworten bleiben gültig

Jede gespeicherte Antwort enthält einen „Stempel“ des Falls, auf den sie antwortet. Wenn sich ein Fall ändert, werden nur die betroffenen Teile erneut bearbeitet. Alte und neue Antworten vermischen sich niemals. Weitere Details: Die Fall-Stempel (version.py).

Die Überprüfung der Antwortschlüssel in Suite 4.1

Überprüfung der Antwortschlüssel in Suite 4.1

1. Alle öffentlichen Antwortschlüssel63 Fälle
2. Zwei PrüferPrüfer A liest jeden Fall. Prüfer B liest ebenfalls jeden Fall.
3. Überprüfung jeder AussageCode: Ausführung der Referenz sowie der Tests. Chat und Tools: Vergleich mit den gespeicherten Antworten jedes Modells.
4. Sortierung der Aussagen~190 bestätigt; diese wurden korrigiert, falls sie die Bewertung veränderten. ~95 abgelehnt – jeweils mit schriftlicher Begründung.
5. Zweite Überprüfung jeder Korrektur„Ablehnung bringt keine Punkte; Schwierige Aufgaben bleiben schwierig.“
6. Erneute Ausführung, Neubewertung oder NeuberechnungBei jedem geänderten Fall.

Ein Antwortschlüssel kann auf zwei Arten falsch sein: Er kann eine falsche Antwort akzeptieren – oder eine richtige ablehnen, indem er mehr verlangt, als die Aufgabe vorgibt. Bei Suite 4.1 lasen zwei Modellprüfer jeweils alle öffentlichen Antwortschlüssel eigenständig; außerdem wurde jede Aussage vor der Korrektur mit den gespeicherten Antworten verglichen. Auch bei der Ablehnung von Antworten gab es keine Punkte: Kein Fall bringt Punkte für eine Ablehnung. Suite 4.1: Was sich geändert hat listet alle Korrekturen auf.

Vom ersten Paket zu neuen Erweiterungen

Das bisherige Paket

1. 3.0Bewertung auf einer Skala von 100 Punkten
2. 3.9Zusätzliche Bonuspakete hinzugefügt
3. 4.0Code- sowie Chat-Funktionen; jeweils 10 Punkte vergeben
4. 4.1Lösungsschlüssel wurden überprüft

Ein neues Bonuspaket

1. SchreibenModelle aus verschiedenen Familien entwerfen Beispiele
2. AngriffEin weiteres Modell versucht, jede Lösung zu knacken
3. BewertungsprüfungEine gute Antwort wird akzeptiert; leicht fehlerhafte oder verwässerte Antworten werden abgelehnt
4. PilotphaseEinige starke Modelle testen das Paket
5. OptimierungFehler, die in der Pilotphase aufgetreten sind, werden behoben
6. FreigabeDas Paket wird erst freigegeben, nachdem es überprüft wurde

Die Bonuspakete wurden in Version 3.9 eingeführt, damit nicht alle Modelle eine perfekte Bewertung erhalten. Die bisherigen Pakete bleiben im Paketverlauf unverändert; außerdem ist jede Engine-Version im CrucibleForge-Changelog dokumentiert.

Wenn Modelle bei einer bestimmten Aufgabe die maximale Punktzahl erreichen, ist ein schwierigeres Bonuspaket erforderlich – und jedes neue Paket durchläuft den oben beschriebenen Prozess. Die Bewertungsprüfung ist dabei am wichtigsten: Falls der Bewertungsmechanismus eine gute von einer leicht fehlerhaften Antwort nicht unterscheiden kann, lässt sich das Paket nicht fair bewerten.

Warum ich das gebaut habe

Ich hatte es satt, dass man die Modelle nicht voneinander unterscheiden konnte. Ich wollte einen schnellen Benchmark, den jeder auf jedem Modell ausführen kann – mit Zahlen, die man selbst überprüfen kann. Ich dachte, das wäre von Nutzen.

Falls Sie diesem Projekt Wert beimessen, denken Sie bitte darüber nach, eine Spende zu leisten, damit es weiter aktualisiert werden kann. Sie können auch für das nächste Modell abstimmen, das wir testen.

Verwandt: Wie CrucibleForge funktioniert.