Geschichte der MakoBench Suite: Frühere Versionen

Kurz gesagt: Die MakoBench-Werte sind nur im Vergleich zur jeweiligen Testversion sinnvoll, die sie erzeugt hat. Wenn sich die Tests ändern, führen wir die Modelle erneut aus und behalten das alte „Board“ genau so bei, wie es war. Auf dieser Seite werden alle Versionen der Tests aufgelistet sowie angegeben, wo man das jeweilige „Board“ findet.

Zu CrucibleForge auf GitHub

Die Tests hinter MakoBench ändern sich von Zeit zu Zeit. Ein Ergebnis ist nur im Verhältnis zum jeweiligen Testpaket aussagekräftig – deswegen vergleichen wir niemals Werte zwischen verschiedenen Testpaketen und ändern auch niemals stillschweigend ein altes Testergebnis ab.

Warum ändern sich die Testsuites?

Wir entfernen Tests, die sich als langsam oder fehleranfällig erweisen, korrigieren Fragen, die ungerecht waren, und fügen schwierigere Aufgaben hinzu, sobald sich die Modelle verbessern. Wenn eine Änderung die Ergebnisse beeinflusst, wird jedes Modell erneut mit der neuen Testsuite getestet. Die vorherige Testsuite bleibt anschließend exakt so erhalten – samt ihren eigenen Grenzwerten, ihrem eigenen Maßstab sowie dem Datum ihrer Erstellung.

Wo sind die früheren Versionen der Boards?

Auf den Seiten „Main Bench“, „+NSFW Bench“ und „The tests“ gibt es oben ein Menü namens Suite. Wählen Sie dort eine ältere Version aus – die Seite zeigt dann genau diese Suite in ihrem damaligen Zustand an.

Versionen

Suite 4.1 (aktuell). Eine Korrekturversion: Es wurden keine neuen Testfälle hinzugefügt; außerdem wurden die Antwortschlüssel nach einer vollständigen Überprüfung korrigiert. Siehe den Haupt-Testbereich.
Suite 4.0. Enthält sowohl „Code“ als auch „Chat“-Modelle; jeweils 10 Punkte bei den Standardtests. Am 10. November 2026 wurde diese Suite durch Suite 4.1 ersetzt. Vergleichen Sie bitte nur Modelle innerhalb derselben Suite. Seiten: Haupt-Testbereich, +NSFW-Testbereich sowie Die Tests.
Suite 3.0. Bei den alten Tests wurde die Bewertung auf einer Skala von 0 bis 100 vorgenommen; setzen Sie diese Werte daher nicht neben die Werte der Suite 4.0. Das archivierte Board enthält 32 Modelle und basiert auf dem Board, das wir am 23.09.2026 archiviert haben. Seiten: Haupt-Testbereich, +NSFW-Testbereich sowie Die Tests.

Was hat sich zwischen den Versionen geändert?

Die Beschreibung der aktuellen Version lautet MakoBench 4.1: Was hat sich geändert; die davor erschienene Version wird in Suite 4.0: Was hat sich geändert beschrieben. Für jede Ausgabe des Engines – auch solche, bei denen sich die Ergebnisse nicht verändert haben – lesen Sie bitte das Changelog von CrucibleForge auf GitHub.

Weitere Informationen: Wie MakoBench funktioniert.