MakoBench 4.1: Was hat sich geändert?

Zu CrucibleForge auf GitHub

Suite 4.1 ist eine Korrekturversion. Sie fügt keine neuen Testfälle hinzu; sie behebt lediglich die Antwortschlüssel der bereits vorhandenen Fälle. Zwei unabhängige Modellprüfer überprüften jeden öffentlich verfügbaren Antwortschlüssel. Wir verglichen jede ihrer Aussagen mit den bereits gespeicherten Antworten – dabei wurden rund 190 Probleme bestätigt. Die bestätigten Probleme, die sich auf die Punktzahlen auswirken, wurden behoben; mit zwei kleinen Ausnahmen, die unter „Bekannte Einschränkungen“ aufgeführt sind. Weitere Probleme, die heute keine Auswirkungen auf die Punktzahlen haben, wurden für die nächste Aktualisierung vermerkt. Inzwischen ist Suite 4.1 aktiv: Von den 38 Modellen, die sowohl in Version 4.0 als auch 4.1 getestet wurden, verbesserten sich 31 in ihrer Bewertung; 5 verschlechterten sich und 2 blieben gleich. Bei Chat- und Code-Modellen waren die Veränderungen ähnlich. In Version 4.1 liegen GPT-6.1 Terra, Claude Fable 5.1, DeepSeek V4 Flash, GPT-6 Luna sowie DeepSeek V4 Pro statistisch gesehen gleichauf an der Spitze der Rangliste. Kimi K3.1 Pro, Grok 4.7, Claude Opus 5.5, Claude Sonnet 5.5, Grok 4.6, Kimi K3, Claude Opus 5 sowie Claude Sonnet 5 sind bisher ungerankt – ihre jeweiligen Anbieter haben kein API-Guthaben mehr zur Verfügung. Ihre Ergebnisse aus den Standardtests sind bereits vorhanden und werden in den jeweiligen Zeilen angezeigt. Vier der acht besten Modelle aus Version 4.0 bleiben bis zum Einsatz ihrer Bonuspakete ebenfalls ungerankt. Neun Modelle weisen keine „Gesamtpunktzahl“ für Version 4.1 auf; in der Liste unter der Ergebnistabelle wird erklärt, warum das so ist.

Warum wir die Antwortschlüssel überprüft haben

Ein Benchmark ist nur so gut wie seine Antwortschlüssel. Jeder MakoBench-Fall wird mit einem Schlüssel geliefert: versteckte Unit-Tests für den Code, erwartete Ergebnisse bei der Verwendung von Tools sowie – im Fall von Chats – eine Reihe von Textüberprüfungen und Fragen, auf die ein Bewertungsmodell zu jeder Antwort antworten muss. Ein Schlüssel kann in zwei Richtungen falsch sein: Er kann eine schlechte Antwort als korrekt bewerten oder eine gute Antwort ablehnen, indem er etwas verlangt, was im Auftrag gar nicht gefordert wurde.

Nach der Version 4.0 bemerkten wir Anzeichen dieser zweiten Art von Fehlern in gespeicherten Transkripten: Starke Modelle scheiterten an den Überprüfungen, obwohl sie genau das taten, was der Nutzer im Gespräch verlangt hatte. Anstatt die einzelnen Fälle nach und nach zu korrigieren, überprüften wir alle Schlüssel auf einmal anhand einer einzigen Regel:

Ein Schlüssel belohnt nur das, was in der Aufgabenbeschreibung gefordert wird – keine versteckten Anforderungen, nichts Strengeres als im Auftrag vorgegeben, nichts Einfacheres, als es die Aufgabe erlaubt; eine Ablehnung wird niemals als „richtig“ gewertet. Schwierig bleibt schwierig.

So funktionierte die Überprüfung

• Umfang. Alle Fälle aus dem Haupttest (Code, Werkzeugnutzung und Chat), alle Fälle des separaten Tests für Rollenspiele mit Erwachsenen sowie alle öffentlichen Bonusfälle: insgesamt 63 Fälle.
• Zwei unabhängige Prüfer. Sowohl OpenAI’s gpt-6.1-sol als auch DeepSeek V4 Flash erhielten jeweils den vollständigen Fall, dessen Schlüsselinformationen sowie die Beschreibung; anschließend listeten sie alle festgestellten Probleme auf. Beide Prüfer arbeiteten unabhängig voneinander – keiner lehnte einen Fall ab. Bei 13 sehr langen Fällen war bei DeepSeek der Ausgabespeicher zu klein; diese wurden erneut gesendet, diesmal ohne Aktivierung der Begründungsfunktion – alle 13 Fälle wurden daraufhin korrekt verarbeitet.
• Entscheidung. Die Claude-Modelle von Anthropic entschieden über jeden einzelnen Fall. Bei Code-Problemen diente die Ausführung der Referenzlösungen sowie versteckter Tests als Grundlage für die Entscheidung. Bei Chat- und Werkzeugnutzungsproblemen wurden die bereits gespeicherten Antworten der jeweiligen Modelle herangezogen; dadurch wird bei jeder Korrektur angezeigt, welche Einträge sich ändern würden. Anschließend überprüfte ein zweiter Durchlauf mit Claude Fable nochmals alle Änderungen anhand der festgelegten Regeln.
• Kosten. Für die beiden Prüfdurchläufe entstanden API-Kosten in Höhe von etwa 3,90 US-Dollar.
• Zeitpunkt. Die Überprüfung fand am 7. und 8. November 2026 statt. Suite 4.1 trägt das Datum 8. November; die entsprechende Angabe auf dem Board lautet 4.1.0+04da7abe.

Insgesamt wurden rund 190 Probleme bestätigt: davon eines als kritisch, etwa 90 als schwerwiegend; der Rest waren kleinere oder latente Probleme (die Einteilung nach Schweregrad ist nur grob). Etwa 95 Probleme wurden abgelehnt – jeweils mit einer schriftlichen Begründung. Auch die beiden Prüfer übersahen einige Dinge: Das Problem im Fall TZ20 bezüglich der Werkzeugnutzung wurde erst während der Entscheidungsphase entdeckt, nicht von einem der beiden Prüfer.

Was wir behoben haben

Die wichtigsten Korrekturen – jeweils mit einem Beispiel pro Art:

• Strengere Prüfungen als im Auftrag gefordert. Im Fall CC4 verlangt die Vorgabe, dass das Modell in einer Antwort genau die Zeile „Rope up.“ schreibt. Zwei weitere Prüfungen erwarten jeweils bestimmte Inhalte – diese können in der vorgeschriebenen Zeile jedoch nicht vorkommen. Bei 35 von 60 Durchläufen, darunter alle Spitzenmodelle, wurde die Zeile wie gefordert geschrieben. Diese beiden Prüfungen zählen nun nicht mehr. Ähnliche Korrekturen betrafen Großschreibungsregeln, die der Nutzer nie festgelegt hatte, sowie Vokabularbeschränkungen, die im Auftrag nicht vorgesehen waren.
• Falsche Vergleichsregeln für Antworten. In den beiden Fällen CB-C5 und CB-C6, bei denen das Modell vorhersagen sollte, was ein Programm ausgibt, wurde die Ausgabe ungeachtet der Groß-/Kleinschreibung verglichen. Ein Modell, das \uD83D schrieb, obwohl das Programm \ud83d ausgibt, wurde als korrekt bewertet. Fünf gespeicherte Antworten, alle im Fall CB-C6, bestanden so die Prüfung. Nun erfolgt der Vergleich fallunterscheidend; nur das Fragenlabel bleibt großzügiger.
• Lücken in den versteckten Tests. Im Fall CL3 (Textumbruch) behandelten Lösungen, die str.split nutzten, auch Zeichen als Leerzeichen, die laut Vorgabe keine Leerzeichen sind – dennoch bestanden sie alle bisherigen Tests. Eine neue Testgruppe erkennt solche Fehler nun. Im Fall CL4 wurde bei einer Eingabe mit null Wochenendtagen die Validierung übersprungen; fünf Modelle, die zuvor eine perfekte Bewertung von 1,0 erhielten, erzielen unter den neuen Tests nur noch 0,94 Punkte.
• Bewertungsfragen, die mehr verlangten als gefordert. Im Schreibfall WR1 bat der Autor um einen Abschluss, der „ein konkretes Bild, kein Lehrstück“ sei – die Bewertungsfrage nannte jedoch eine bestimmte Art von Objekt. Endungen mit anderen konkreten Bildern wurden daraufhin als falsch gewertet. Nun fragt die Bewertungsfrage genau das, was der Autor gewünscht hatte.
• Mehrdeutige Nutzereingaben. Im Fall TZ20 lehnt der Assistent korrekt eine Buchung ab und bietet eine andere an. Früher begann die Antwort des Nutzers mit „Alright.“; in 17 von 55 Durchläufen, meist bei leistungsstarken Modellen, wurde dies als Zustimmung interpretiert – was laut Bewertungsschlüssel ein Fehler war. Mittlerweile lehnt der Nutzer das Angebot explizit ab; somit prüft der Fall nun, was er eigentlich prüfen sollte.

Auch eine Schwachstelle im Bonuscode wurde behoben: Eine dreizeilige Lösung konnte die Arbeit an Python-Module weitergeben und dennoch die volle Punktzahl erhalten. Da keine gespeicherte Antwort diese Methode nutzte, ändern sich die Bewertungen nicht – doch der Bonuscode wird unter den korrigierten Tests erneut ausgewertet.

Ablehnungen werden nicht mehr als „Punkte“ gewertet

MakoBench misst, was ein Modell tut, wenn es aufgefordert wird, eine Aufgabe auszuführen. Fünf Sicherheits-Tests in dem Paket funktionierten jedoch andersherum: Sie vergaben „Punkte“ dafür, dass das Modell eine Anfrage ablehnte. In Version 4.1 werden diese Tests sowie der zugehörige Bewertungsmechanismus entfernt. Keiner dieser Tests gehörte zu den Fällen, die vom Bewertungssystem berücksichtigt werden – daher ändert sich in der Bewertungstabelle nichts.

„Willing“ ist eine Spalte im separaten Erwachsenentest; sie misst, was das Modell schreibt, wenn es dazu aufgefordert wird. Da die Tests sowie der zugehörige Bewertungsmechanismus nun fehlen, gibt es keinen Weg mehr, Ablehnungen als „Punkte“ zu bewerten.

Was das für die Bewertungen bedeutet

Der Gesamtwert setzt sich aus den Werten für „Code“ und „Chat“ zusammen. Jeder dieser Werte wird auf einer Skala von 0 bis 10 bewertet; zusätzliche Bonuspakete können weitere Punkte einbringen. Für jede Version der Testreihe gibt es eine feste Obergrenze – inklusive der Bonuspunkte. Ein neues Bonuspaket erhöht diese Grenze; die Anzeige auf dem Board reicht bis zu dieser Obergrenze. Der separate „Erwachsenentest“ wird niemals zum Gesamtwert hinzugerechnet.

Unsere Schätzung vor der Neuauswertung: Wir haben eine Kopie der gespeicherten Ergebnisse allein anhand der neuen Prüfkriterien neu bewertet. Demnach haben sich bei 52 von 65 Modellen, für die wir Ergebnisse haben, die Gesamtwerte um mindestens 0,05 Punkte verändert; dabei handelte es sich fast ausschließlich um Steigerungen im Bereich „Chat“ – zwischen etwa +0,2 und +0,5 Punkten. Im Bereich „Code“ blieben die Werte bei nahezu allen Modellen unverändert. Unter den wenigen Modellen, bei denen es zu Abweichungen nach unten kam, waren drei Modelle, die nun eine Aufgabe bezüglich der Werkzeugnutzung nicht bewältigten – sie befolgten zwar eine Anweisung, die in einem Werkzeug-Ergebnis enthalten war, oder stimmten einer Buchungsänderung zu, die eigentlich verboten war. Zwei weitere Modelle warten noch auf die Neuauswertung ihrer Bonuspunkte. Die Top 8 bleiben weiterhin dieselben acht Modelle.

Wir hatten bereits gesagt, dass sich die Reihenfolge noch ändern könnte. DeepSeek V4 Flash, das in der Version 4.0 auf Platz 1 stand, ist das einzige Spitzenmodell, das Bonuspunkte erhalten hat; für zwei seiner Bonuspakete musste eine Neuauswertung erfolgen. Während diese noch ausstand, wurde sein Gesamtwert von 19,19 auf 18,66 herabgesetzt – somit rutschte es vom ersten auf den vierten Platz ab. Die endgültige Reihenfolge nach der vollständigen Neuauswertung finden Sie in der untenstehenden Tabelle.

Die folgende Tabelle vergleicht die Ergebnisse jedes Modells in der Version 4.0 mit denen in Version 4.1 – so wie sie auf dem Board angezeigt werden.

Von 49 verglichenen Modellen: 31 verbesserten sich, 5 verschlechterten sich und 2 blieben unverändert. Die Werte werden auf eine Dezimalstelle gerundet – genau wie auf dem Board. „Code“ ergibt sich aus der Differenz zwischen Gesamtwert und „Chat“-Wert; da jeder Wert einzeln gerundet wird, können sich die Änderungen bei „Chat“ und „Code“ um bis zu 0,1 Punkte vom Gesamtwert unterscheiden. Ein Bindestrich in der Rangspalte bedeutet, dass das Modell in dieser Version keinen Rang erhalten hat.

Von den 49 Modellen haben 9 noch keinen Gesamtwert für Version 4.1; sie werden auf dem Board als „unvollständig“ angezeigt:

• Grok 4.7 – Bonuspakete warten noch auf eine Neuauswertung: Das API-Guthaben des Anbieters war vor Abschluss der Tests aufgebraucht. Die Standardtests sind bereits abgeschlossen.
• Kimi K3.1 Pro – Bonuspakete warten noch auf eine Neuauswertung: Das API-Guthaben des Anbieters war vor Abschluss der Tests aufgebraucht. Die Standardtests sind bereits abgeschlossen.
• Claude Opus 5.5 – Bonuspakete warten noch auf eine Neuauswertung: Das API-Guthaben des Anbieters war vor Abschluss der Tests aufgebraucht. Die Standardtests sind bereits abgeschlossen.
• Claude Sonnet 5.5 – Bonuspakete warten noch auf eine Neuauswertung: Das API-Guthaben des Anbieters war vor Abschluss der Tests aufgebraucht. Die Standardtests sind bereits abgeschlossen.
• Claude Opus 5 – Bonuspakete warten noch auf eine Neuauswertung: Das API-Guthaben des Anbieters war vor Abschluss der Tests aufgebraucht. Die Standardtests sind bereits abgeschlossen.
• Claude Sonnet 5 – Bonuspakete warten noch auf eine Neuauswertung: Das API-Guthaben des Anbieters war vor Abschluss der Tests aufgebraucht. Die Standardtests sind bereits abgeschlossen.
• Qwen2.5 1.5B – Bei diesem Modell konnten nur 30 von 33 Tests durchgeführt werden; daher gibt es keinen Gesamtwert.
• Qwen2.5 0.5B – Bei diesem Modell konnten nur 30 von 33 Tests durchgeführt werden; daher gibt es keinen Gesamtwert.
• Gemma 2 2B Abliterated – Bei diesem Modell konnten nur 30 von 33 Tests durchgeführt werden; daher gibt es keinen Gesamtwert.

Qwen3.8 27B (#24) sowie Grok Build 0.1 (#13) weisen zwar einen Gesamtwert für Version 4.1 auf, hatten aber in Version 4.0 keinen; sie werden daher nicht in obiger Vergleichstabelle aufgeführt (die dort angegebenen Ränge beziehen sich auf Version 4.1).

Wie man diese Veröffentlichung versteht

• Für Kimi K3.1 Pro, Grok 4.7, Claude Opus 5.5, Claude Sonnet 5.5, Grok 4.6, Kimi K3, Claude Opus 5 sowie Claude Sonnet 5 warten Bonuspakete noch auf eine Neuauswertung: Das API-Guthaben der jeweiligen Anbieter war vor Abschluss der Tests aufgebraucht; die Standardtests sind bereits abgeschlossen. Da diese Pakete noch nicht ausgewertet wurden, werden für die Modelle von Grok, Kimi und Claude 5.x in dieser Veröffentlichung keine Bonuspunkte angezeigt; stattdessen finden Sie dort nur die Ergebnisse der Standardtests.
• Da diese Bonuspakete noch nicht ausgewertet wurden, erscheinen in dieser Veröffentlichung für die Modelle von Grok, Kimi und Claude 5.x keine Bonuspunkte; stattdessen finden Sie dort nur die Ergebnisse der Standardtests.
• Der Bewertungsalgorithmus überlegt sich vor einer Antwort. Beim separaten „Erwachsenentest“ stammten etwa die Hälfte aller Urteile von einem Ersatzmechanismus, der ohne den eigentlichen Überlegungsschritt antwortet – entweder weil diesem der Platz ausging oder weil er kein Ergebnis lieferte. Dieser Anteil ist bei allen Modellen ähnlich hoch. Der Haupttestbereich bleibt hiervon unberührt: Für „Chat“ wird absichtlich ohne Überlegungsschritt bewertet; „Code“ wird durch Tests beurteilt. Ab Version 4.5 wird in jedem Urteil vermerkt, welcher Weg dazu geführt hat.
• Dreizehn gespeicherte Code-Antworten scheiterten lediglich daran, dass ein Test die Zeitgrenze erreichte; davon sieben bei einem Geschwindigkeitstest vom Typ CL8. Einige Modelle sind tatsächlich langsam; um sie zu unterscheiden, wäre eine Neuauswertung auf einer leeren Maschine nötig – diese erfolgt ab Version 4.5. Die Abweichungen betragen höchstens etwa 0,06 Punkte; lediglich bei einer Antwort von Qwen3.8 27B Twin Turbo Fable im CL7-Test kann es bis zu 0,6 Punkte sein.
• Celeste 12B v1.6 sowie Cydonia 22B v1 wurden mit anderen Gewichtungsdateien als in Version 4.0 neu getestet; daher spiegelt die Veränderung seit Version 4.0 nicht nur die Überprüfung der Antwortschlüssel wider.
• Noromaid 7B v0.1.1 ist in Version 4.1 neu hinzugekommen; es wird als „unvollständig“ angezeigt (nur 30 von 33 Tests konnten durchgeführt werden), weshalb es keinen Gesamtwert hat.
• Bei einigen kleineren Modellen wird kein Gesamtwert angezeigt, weil drei umfangreiche Code-Tests mehr Kontext erfordern, als das Modell verarbeiten kann. Diese Tests werden stattdessen als „nicht anwendbar“ gewertet – nicht als Fehler – und die übrigen Ergebnisse des Modells sind in seiner Zeile aufgeführt.

Neu im Board unter Version 4.1 (ohne Vergleichswerte zu Version 4.0): Grok 4.6 (eine ältere Version von Grok 4.7, sichtbar, wenn „Nur neueste Versionen“ deaktiviert ist), Kimi K3 (eine ältere Version von Kimi K3.1 Pro, ebenfalls sichtbar bei deaktivierter Option „Nur neueste Versionen“) sowie Noromaid 7B v0.1.1.

Was wurde erneut ausgeführt – und wie?

• Neue Antworten (5 Haupttests): Bei den Tests CL3, CL4, CB-C5, CB-C6 und TZ20 änderte sich der Inhalt; daher beantworteten alle noch lauffähigen Modelle diese Fragen erneut.
• Erneute Bewertung (5 Fälle): Bei dem Test WR1 sowie vier weiteren Tests wurden die Bewertungsfragen umformuliert. Der „Judge“ Gemma 4 31B (uncensored „Heretic“-Version, Q8) las auf unserem GPU-System die gespeicherten Antworten erneut durch. Es wurde nichts neu generiert.
• Unveränderte Fälle: Die Antworten zu Fällen, bei denen sich nichts änderte, blieben gemäß Suite 4.1 gültig; sie wurden nicht erneut ausgeführt.
• Erneute Bewertung aller übrigen veränderten Fälle: Bei der Erstellung des Berichts wurden die gespeicherten Antworten erneut anhand der vorgegebenen Kriterien bewertet. Dabei wurden weder Modelle noch „Judge“-Prozesse erneut aufgerufen.
• Bonus-Sets: Bonus-Sets sind schwierigere, optionale Testpakete, die ein Modell freischaltet, wenn es in den Standardtests gute Ergebnisse erzielt. Ein Set, dessen Inhalt sich änderte, wurde für alle Modelle erneut ausgeführt, die es freigeschaltet hatten (das Bonus-Code-Set sowie ein Schreibtest-Set). Bei Bonus-Sets, bei denen sich die Bewertungsfragen änderten, erfolgte eine erneute Bewertung.
• Modelle, die wir nicht mehr anbieten: Ein Modell kann nur dann erneut ausgeführt werden, wenn es auf unserem System geladen ist. Zwölf Modelle, die zuvor vom System entfernt worden waren, wurden wieder hinzugefügt und erneut getestet; keines musste ausgeschlossen werden. Die einzigen Zeilen ohne „Gesamtpunktzahl“ betreffen gehostete Modelle, deren Bonus-Pakete noch ausgeführt werden müssen, sowie kleine Modelle, die die drei langen Code-Tests nicht durchführen können; beide Gruppen sind in der Ergebnistabelle aufgeführt.

Am 10. November 2026 wechselte das Main Bench auf Suite 4.1. Die Version 4.0 bleibt im Suite-Verlauf unverändert erhalten.

Was hat sich pro Fall geändert?

Unter jedem Fall wird beschrieben, wie er aktualisiert wurde. „Neue Antworten“ bedeutet, dass jedes Modell den Fall erneut beantwortet hat. „Neu bewertet“ bedeutet, dass der Bewerter die gespeicherten Antworten erneut anhand der neuen Fragen bewertet hat. „Neu bepunktet“ bedeutet, dass nur Textüberprüfungen oder erwartete Antworten geändert wurden und die gespeicherten Antworten erneut bepunktet wurden.

Code (auf dem Board)

Chat (auf dem Board)

Gesonderter Test für Erwachsenen-Rollenspiele (kein Teil von „Total“)

Bonus-Sets (nur von leistungsstarken Modellen freischaltbar; nicht auf dem Standard-Board)

Gelöscht

Bekannte Einschränkungen

• Die Korrektoren waren Modelle. Zwei unabhängige „Leser“ sowie eine Abgleichung mit gespeicherten Antworten erkennen viele Fehler – aber nicht alle. Beide „Leser“ übersehenen das oben beschriebene Problem mit TZ20. Wir erwarten, weitere Fehler zu finden, und werden diese auf dieselbe Weise beheben.
• Einige bestätigte Probleme wurden absichtlich unberührt gelassen. In den Bereichen CL5 bis CL7 gibt es einige Randfälle, bei denen die Referenzlösungen bei bestimmten Eingaben falsch sind – solche Eingaben werden jedoch von keinem Test abgedeckt. Zudem stimmen bei einigen Prüfungen zur korrekten Verwendung der Tools nur Teilzeichenketten überein. Beides beeinflusst heute keine gespeicherten Bewertungen; eine Korrektur würde jedoch einen erneuten Testlauf erfordern – ohne Nutzen. Diese Probleme werden für die nächste Inhaltsaktualisierung dokumentiert.
• Zeitlimits beim Bewerten. Dreizehn gespeicherte Code-Antworten scheiterten lediglich daran, dass ein Test seine Zeitgrenze erreichte; davon sieben in einem Geschwindigkeitstest zu CL8. Einige Antworten sind tatsächlich langsam – um sie von anderen zu unterscheiden, wäre ein erneuter Test auf einem freien System nötig; dies ist erst ab Version 4.5 möglich. Dabei verlieren die betreffenden Antworten maximal etwa 0,06 Punkte – außer eine Antwort zu CL7 von Qwen3.8 27B Twin Turbo Fable, bei der es bis zu etwa 0,6 Punkte sein können.
• Ein bekannter Bewertungsfehler blieb bestehen. In TZ16 wurde die unzusammenhängende Antwort eines kleinen Modells fälschlicherweise als korrekt bewertet. Dies betrifft lediglich eine gespeicherte Datensatzzeile; eine Korrektur würde jedoch einen erneuten Testlauf für jedes Modell erfordern – daher wird dies erst bei der nächsten Inhaltsaktualisierung behoben.
• Nur ein einziger „Bewerter“. Die Bewertung von Chat- und Erwachsenentests erfolgt weiterhin durch ein einziges Modell. Eine Umformulierung der Fragen ändert zwar die gestellten Anfragen, nicht aber die Zuverlässigkeit der Antworten dieses Modells.
• Wo man es herbekommt. Suite 4.1 ist in CrucibleForge 4.1.0 enthalten – dieser wurde zusammen mit dem Tool veröffentlicht. CrucibleForge ist die Open-Source-Engine hinter MakoBench.

Was kommt als Nächstes

Die nächste Version des Benchmarks ist 4.5. Für diese Version werden ein leistungsfähigerer Bewertungsalgorithmus, Korrekturen am Hauptpaket sowie neue Bonuspakete entwickelt. Ebenfalls in Entwicklung sind neue Pakete für den separaten Erwachsenentest.

Reproduzieren Sie es selbst

MakoBench läuft auf CrucibleForge, das open source ist. Unter CrucibleForge mit eigenen Modellen ausführen wird erklärt, wie man ein Modell auf eigener Hardware testet. Ein frisch geklontes Repository führt den Testlauf 4.1 aus. Wie man die Ergebnisse interpretiert, wird in So funktioniert MakoBench beschrieben. Das Dataset wird außerdem als Dataset auf Hugging Face veröffentlicht.

Danksagungen und Kontakt

Die beiden Leseprogramme nutzten die APIs von OpenAI und DeepSeek; bei der Bewertung kamen die Claude-Modelle von Anthropic zum Einsatz. Der Bewerter läuft auf unserer eigenen Hardware.

Falls Sie der Ansicht sind, dass ein Ergebnis immer noch falsch ist, lassen Sie es uns wissen. Nutzen Sie dazu das Feedback-Formular auf der Vote-Seite oder schreiben Sie an makobench@laserlloyd.com. Teilen Sie uns den Fall sowie das Verhalten des Modells mit – wir werden es dann anhand derselben Regeln überprüfen.

Das MakoBench-Team