Was MakoBench testet – und was nicht

Kurz gesagt: MakoBench ist ein Testboard für Modelle, deren Hauptausgabe Text ist und die imstande sind zu chatten. Es bewertet zwei Aufgaben – Programmierung sowie Rollenspiel oder Gespräche mit einem „Begleiter“ – sowie einen separaten Test für das Schreiben von Texten für Erwachsene. Bild-, Video-, Audio- und 3D-Generatoren, Embedding- und Klassifizierungsmodelle, einsatzspezifische Werkzeuge wie Übersetzung oder Untertitelgenerierung sowie Basis-Checkpoints werden nicht getestet. Eine Zeile wird nur dann bewertet, wenn es sich um eine faire Messung handelt: Das gesamte Testpaket wurde ausgeführt, unser Kompatibilitätstest war erfolgreich – und es handelt sich dabei um die Hauptzeile für dieses Modell.

Zu CrucibleForge auf GitHub

MakoBench hat eine Aufgabe: Es zeigt Ihnen, wie gut ein Textmodell in zwei Bereichen abschneidet, für die wir Modelle einsetzen. Wir erklären ganz klar, worum es dabei geht – schließlich ist ein Score nur dann aussagekräftig, wenn das Modell zu denen gehört, für die die Tests entwickelt wurden.

Kurz gesagt:

Eingabe: Alles, dessen Hauptausgabe Text ist und das eine Anweisung oder ein Gespräch entgegennehmen sowie darauf antworten kann.
Ausgabe: Bild-, Video-, Audio- und 3D-Generatoren, Embedding- sowie Klassifizierungsmodelle, einsatzspezifische Werkzeuge sowie Basis-Checkpoints.
Zwei Hauptaufgaben: Das Schreiben funktionierenden Codes sowie Rollenspiele oder Gespräche mit dem Modell. Texte für Erwachsene werden in einem separaten Test geprüft.
Rangierte Zeilen sind „faire“ Zeilen: Das gesamte Testpaket wurde ausgeführt, unsere Kompatibilitätsprüfung bestanden – und diese Zeile ist die Hauptzeile für das jeweilige Modell.

Was wir testen

Wir testen Modelle, deren Eingabe Text ist, deren Hauptausgabe ebenfalls Text ist und die auf Anweisungen oder Konversationen im Chat-Stil reagieren. Dazu gehören:

Chat- sowie Instruktionsmodelle beliebiger Größe – lokal ausgeführt oder über eine gehostete API;
Reasoning-Modelle, die genau so ausgeführt werden, wie es ihre Entwickler vorgegeben haben; sie erhalten dasselbe Ausgabe-Budget wie alle anderen Modelle;
Coding-Modelle, die auch im Chat funktionieren. Sie müssen sowohl Code- als auch Chat-Tests bestehen; ein schwacher Chat-Score ist dabei kein Grund, sie auszuschließen;
Unzensierte sowie speziell für Rollenspiele optimierte Varianten der oben genannten Modelle;
Vision-Language-Chat-Modelle – diese werden nur anhand der Text-Tests bewertet. In deren Zeile steht „nur Text-Tests“, weil wir nicht geprüft haben, wie sie mit Bildern umgehen.

Die beiden Testbereiche sind Code und Chat; jeweils 10 Punkte können dabei erreicht werden. Die Gesamtpunktzahl ergibt sich aus der Summe beider Werte. Beim Code-Test geht es darum, funktionierende Python-Funktionen zu schreiben, vorherzusagen, welche Ausgabe bestimmte Code-Schnipsel erzeugen, Fehler zu finden sowie die richtigen Werkzeuge zu verwenden. Beim Chat-Test handelt es sich um Rollenspiele und Gespräche: Das Modell muss Fakten behalten, eine bestimmte Rolle einnehmen sowie Schreibregeln befolgen. Es handelt sich dabei nicht um einen reinen Fragen-Beantwortungs- oder Instruktions-Ausführungstest; daher kann ein Modell ein exzellenter Assistent sein, aber trotzdem nur einen mittelmäßigen Chat-Score erzielen. Ein separater Test für erotische Inhalte hat seine eigene Registerkarte – er wird niemals in die Gesamtpunktzahl einbezogen.

Was wir nicht testen

Modelle, die keinen Text ausgeben. Bild-, Video-, Sprach- und Musikgeneratoren sowie 3D-, CAD- und Szenengeneratoren. Die Tests können ein Bild oder ein Mesh nicht bewerten – daher wäre jede Zahl nur „Rauschen“.
Modelle, die einen Vektor oder ein Label ausgeben. Embedding-Modelle, Re-Ranker, Klassifikatoren sowie Sicherheits-, Schutz- oder Belohnungsmodelle.
Einzelfunktions-Textwerkzeuge. Übersetzungsmodelle, Bildunterschriften-Generatoren, Sprach-zu-Text-Werkzeuge und OCR-Tools sowie Modelle, die nur zum Zusammenfassen oder Extrahieren von Informationen trainiert wurden. Sie sind in einer bestimmten Aufgabe gut – doch Code und Chat messen das nicht.
Basis-Checkpoints. Ein Modell ohne Chat-Vorlage kann den vom Testpaket gesendeten Prompts nicht folgen.
Modelle, die CrucibleForge nicht ausführen kann. Das System prüft zuerst, ob es ordnungsgemäß mit einem Modell kommunizieren kann; scheitert diese Prüfung, wird das Modell abgelehnt.

Fällt eine Anfrage in eine dieser Kategorien, lehnen wir sie auf der Vote-Seite mit einer kurzen Erklärung ab – das Modell gelangt anschließend nie an das Bewertungsgremium. Wir lehnen ein Modell niemals wegen seiner Größe ab; dazu gibt es unten weitere Informationen. Auch die Modelle, die wir automatisch auswählen, müssen unter einer liberalen Lizenz stehen und dürfen keine Zugangssperren haben; dennoch können wir auch manuell ein Modell hinzufügen.

Welche Bedingungen müssen erfüllt sein, damit eine Zeile bewertet wird?

Das gesamte Testpaket wurde ausgeführt. Ein Modell mit nur teilweiser Abdeckung zeigt zwar seine Werte an, weist aber weder einen Gesamtwert noch eine Bewertung auf.
Die Kompatibilitätsprüfung war erfolgreich. Falls sie fehlschlug, misst die Einrichtung von CrucibleForge das Modell vermutlich falsch. Die Zeile bleibt sichtbar, ist jedoch mit einem Warnsymbol sowie dem Hinweis „vorläufig“ gekennzeichnet; sie erhält keine Bewertung und wird erneut getestet.
Eine Zeile pro Modell. Der Standard-Quantisierungsgrad für lokale Modelle ist Q8_0. Falls Q8_0 für unsere Hardware nicht geeignet ist, verwenden wir Q6 bzw. Q5 – dies wird in der Zeile angegeben. Wir gehen niemals unter Q5 hinunter. Ein weiterer Quantisierungsgrad oder eine schnellere Ausführung desselben gehosteten Modells erscheint als alternative Variante unterhalb der Hauptzeile und wird nicht bewertet.
Ältere Zeilen mit Quantisierungsgraden unter Q5 bleiben sichtbar. Ihr Quantisierungsgrad wird angezeigt; in den Details der Zeile steht zudem der Hinweis „unter Q5“. Wir testen solche Modelle erneut nur dann mit dem Standard-Quantisierungsgrad, wenn sie führend sind: entweder auf ihrem Testboard (Main Bench oder Adult-Fiction Bench), in einer Übersichtsspalte oder innerhalb ihrer Größenklasse.
Bei gehosteten Modellen wird das Testdatum angegeben. Ein Anbieter kann ein Modell unter demselben Namen ändern oder zurückziehen; daher stellt eine gehostete Zeile einen „Snapshot“ des Modells zu einem bestimmten Zeitpunkt dar.

Was unser System testen kann – und was Finanzierung benötigt

MakoBench läuft auf einem einzigen Heim-PC mit vier Grafikkarten: zwei RTX 5090 sowie zwei RTX 3090 – insgesamt 112 GB Videospeicher. Wir testen jedes Modell in der Quantisierungsstufe Q8_0; erst wenn diese nicht ausreicht, wechseln wir zu Q6 bzw. Q5. In der Praxis bedeutet das, dass Modelle mit bis zu etwa 135 Milliarden Parametern getestet werden können – und zwar mit einem Kontext von 32.000 Tokens.

Größere Modelle sind als „Lokal nicht testbar“ gekennzeichnet; sie werden jedoch niemals abgelehnt. Falls ein Hosting-Dienst das Modell in 8-Bit- oder besserer Qualität ausführen kann, können Nutzer die Tests finanzieren. Das Finanzierungsziel liegt bei etwa viermal den höchsten Kosten, die für einen Test anfallen würden – schließlich erfordert ein Remote-Test auch die Einrichtung, eventuell einen zweiten Versuch, Überprüfungen sowie Bewertungen auf unserem eigenen System; außerdem fallen Zahlungsgebühren an. Falls kein Hosting-Dienst das Modell anbietet, steht in der entsprechenden Zeile „Zurzeit zu groß zum Testen“ – ohne Finanzierungsziel. Die Abstimmungen zählen dennoch; falls sich die Situation ändert, werden wir das Modell testen. Sollte ein finanziertes Testlauf nicht möglich sein oder sollte sich herausstellen, dass das Modell doch auf unserem System läuft, fließt das Geld in die Ausführung des Tests. Das Geld beeinflusst niemals die Bewertung eines Modells. Eine Spende, die an ein bestimmtes Modell gebunden ist, sorgt lediglich dafür, dass dieses in seiner Gruppe nach oben rückt – die Bewertung bleibt dabei unverändert.

Warum diese Sorgfalt?

Ein Benchmark, der alles bewertet, bewertet letztendlich auch Dinge, die die Tests nicht messen können – und eine Bewertung, die nichts aussagt, ist schlimmer als gar keine Bewertung. Indem man die Liste auf Modelle beschränkt, für die die Tests geeignet sind, und nur faire Messwerte berücksichtigt, kann man zwei Zahlen auf der Liste miteinander vergleichen. Wie die Bewertungen berechnet und interpretiert werden, erfahren Sie unter Wie MakoBench funktioniert. Falls Sie ein Modell testen lassen möchten, nutzen Sie bitte die Abstimmungsseite.