MakoBench fügt eine Spalte für die Laufkosten hinzu

Kurz gesagt: MakoBench ist unser öffentliches Board für Sprachmodelle. Die gehosteten Modelle haben nun eine Laufkostenkomponente: Das ist der Preis, den man für eine Ausführung der Standard-Code- und Chat-Tests gemäß den vom Anbieter veröffentlichten Tarifen zahlen muss. Bei lokalen Modellen wird ein Bindestrich angezeigt – sie werden schließlich auf unserer eigenen Hardware ausgeführt. Wenn der Inhaltsfilter eines Anbieters eine Antwort blockiert, wird dies in der Zeile angegeben; die Bewertung der betreffenden Antwort beträgt dann null.

Das Dashboard enthält nun eine neue Spalte: Laufkosten. Für gehostete Modelle gibt dieser Wert an, wie viel ein vollständiger Durchlauf der Standard-Tests für „Code“ und „Chat“ laut den vom Anbieter veröffentlichten Preisen kostet – wobei sowohl die gesendeten als auch die zurückgesendeten Tokens berücksichtigt werden.

Was nicht mitgezählt wird: Bonuspakete, Wiederholungen der Tests, der „Judge“-Prozess (der auf unserer eigenen Hardware läuft) sowie eventuelle Rabatte für Nutzung außerhalb der Hauptverkehrszeit. Der angegebene Betrag entspricht in etwa dem Preis, den Sie laut Listenpreis zahlen würden.
„~“ vor einer Zahl: Der Anbieter berechnet nicht pro Token – es handelt sich um ein Festpreismodell. Daher haben wir die Tokenzahlen zum Listenpreis bewertet.
„*“ nach einer Zahl: Bei einigen Anfragen wurden keine Nutzungsdaten zurückgegeben; daher könnte der angegebene Wert zu niedrig sein.
Ein Bindestrich: Das Modell wurde auf unserer eigenen Hardware ausgeführt – es entstand somit keine Rechnung.

In derselben Version wurden auch blockierte Antworten eingeführt. Einige Anbieter verwenden einen Inhaltsfilter, der eine Antwort unter Umständen verweigert. In solchen Fällen enthält die entsprechende Zeile ein kleines „blockiert“-Zeichen sowie eine entsprechende Anmerkung. Eine blockierte Antwort erhält die Bewertung „0“, genauso wie eine fehlgeschlagene Antwort. CrucibleForge erkennt solche Fälle bei jedem Aktualisieren der Transkripte – zukünftige Ausführungen werden daher automatisch markiert.

Zwei Aktualisierungen bezüglich der Board-Ansicht

Nur neueste Versionen. Ein standardmäßig aktiviertes Kontrollkästchen versteckt ein Modell, sobald eine neuere Version davon im Board vorhanden ist – somit tritt Claude Opus 5 zugunsten von Version 5.5 zurück. Feinabgestimmte Varianten eines Modells werden dabei niemals ausgeblendet. Jede Zeile enthält außerdem ein „Built on“-Tag, das die Produktlinie der gehosteten Modelle sowie die Basisgewichte der lokalen Modelle angibt; der Filter berücksichtigt dies ebenfalls.
MAX. Ein kleines „MAX“-Zeichen erscheint, wenn ein Modell in einem bestimmten Testbereich die höchstmögliche Punktzahl erreicht hat. Da die Tests solche Modelle nicht voneinander unterscheiden können, ist für diesen Bereich ein schwierigeres Testset erforderlich.

Die Tabelle lässt sich nun auch auf dem Handy leichter lesen. Die Modellnamen werden jetzt vollständig angezeigt; anstelle der langen Dateinamen werden kurze Bezeichnungen verwendet. Zudem gibt es einen Hinweis, falls die Tabelle horizontal gescrollt werden muss.

Weitere Details finden Sie in der Dokumentation sowie unter Wie MakoBench funktioniert.