Betrieben von CrucibleForge
Suite 4.1 (Aktuell)
Die Tests
Einfach verständliche Erklärungen zu jedem Test auf der Hauptseite. Derselbe Text wird durch Klick auf das „i“ neben jedem Spaltenkopf angezeigt. Die Tests selbst befinden sich im open-source-Projekt CrucibleForge; diese Seite beschreibt in allgemeinen Begriffen, was die Tests messen. Falls ein Test öffentliche Beispielaufgaben enthält, können Sie diese über die jeweilige Karte öffnen.
Was die Tests messen
Gesamt
Die Gesamtpunktzahl ergibt sich aus der Code-Punktzahl plus der Chat-Punktzahl. Für eine perfekte Ausführung aller Standardtests beträgt jede dieser Punktzahlen 10 – somit ist 20 die maximale mögliche Punktzahl. Bonuspakete (siehe „Bonus-Sets“) fügen weitere Punkte hinzu; dadurch kann ein Modell mehr als 20 Punkte erreichen. In dieser Suite kann das Modell mit jedem Paket die Werte 13 bzw. 15 erreichen. Die Balken in einer Zeile zeigen den maximal möglichen Wert an; an der Stelle, an der die Standardtests enden, befindet sich ein Häkchen. Die „uncensored“-Tests haben ihre eigene Registerkarte und werden niemals in die Berechnung einbezogen. Der Wert ± neben der Gesamtpunktzahl gibt die halbe Breite eines 90%-Intervalls an, das durch Bootstrap-Verfahren auf Basis der Testfälle berechnet wird. Somit gelten zwei Modelle, deren Werte innerhalb dieses Intervalls liegen, statistisch gesehen als gleichwertig.
Chat
Der Chat dient dem Rollenspiel und dem Austausch mit Begleitfiguren – nicht jedoch allgemeinen Assistenzaufgaben. Er führt 8 mehrstufige Sitzungen durch: ein Rollenspiel mit viel Hintergrundgeschichte, Gespräche mit Begleitfiguren, eine Figur mit mehreren Stimmen sowie eine gemeinsam erstellte Geschichte. In jeder Sitzung wird überprüft, ob das Modell sich an zuvor eingeführte Fakten erinnert, Korrekturen akzeptiert, die Stimme und den Standpunkt der Figur beibehält sowie die vorgegebenen Schreibregeln einhält. Ein separates Bewertungsmodell, Gemma 4 31B (uncensored “heretic” build, Q8) on our own GPU rig, bewertet die Antworten anhand einer Checkliste; zusätzliche Punkte können durch Bonuspakete vergeben werden – insgesamt bis zu 15 Punkte in diesem Paket. Das Beantworten von Fragen oder das Ausführen einmaliger Anweisungen wird hier nicht bewertet. Für eine perfekte Bewältigung der Standardaufgaben gibt es 10 Punkte; weitere Punkte können durch Bonuspakete hinzugewonnen werden.
Code
Der Code-Teil umfasst das Schreiben funktionierender Python-Funktionen, das Vorhersagen darüber, was ein Programm ausgibt, das Finden und Beheben von Fehlern sowie Aufgaben im Zusammenhang mit Repositories und der Nutzung von Tools. Die Antworten werden anhand versteckter Tests überprüft – daher spiegelt die Punktzahl eher den funktionierenden Code wider als Code, der nur scheinbar korrekt ist. Für eine perfekte Beantwortung aller Standardfragen gibt es 10 Punkte; zusätzliche Bonuspunkte können bis zu 13 Punkte ergeben.
Bonus-Sets
In jeder Kategorie gibt es 10 Punkte für eine perfekte Beantwortung aller Standardfragen. Ein Modell, das in einem Bereich mindestens 90 % erreicht, erhält Zugang zu einer schwierigeren Bonusaufgabe in diesem Bereich. Wenn das Modell auch diese Aufgabe erfolgreich bewältigt, kann es zur nächsten Bonusaufgabe übergehen. Jedes Paket bringt 1 Punkt – somit kann eine Kategorie insgesamt 10 Punkte erreichen. Das Maximum, das eine Kategorie erreichen kann, ist 10 plus ein Punkt pro Paket. Ein neues Paket erhöht diesen Wert weiter. In der Detailansicht einer Zeile werden alle Pakete aufgelistet – samt ihren Punkten oder ob sie noch gesperrt sind. Die Bonusaufgaben sind die einzige Möglichkeit, die 10-Punkte-Grenze zu überschreiten – dadurch wird verhindert, dass alle Modelle am oberen Ende der Rangliste mit einer perfekten Punktzahl landen.
Programme
Das Programm gibt dem Modell 6 Aufgaben vor. Jede Aufgabe verlangt von dem Modell, eine Python-Funktion zu erstellen – basierend auf einer detaillierten, aber auch schwierigen Beschreibung (Datum, Rundungsregeln, Textformatierung, Zeitplanung). Die erstellte Funktion wird in einer Sandbox gegen versteckte Unit-Tests getestet. Die Bewertung ergibt sich aus dem Anteil der Testgruppen, die erfolgreich bestanden wurden. Somit erhält eine fast korrekte Antwort zumindest teilweise Punkte.
Code-Bank
Der Code-Bank zeigt kurze Beispiele für typischen Python- und JavaScript-Code – also jenen Hilfscode, den eine gewöhnliche App verwendet. Dabei wird gefragt, was genau jeder Codeabschnitt ausgibt. Es gibt 2 solcher Beispiele – eines pro Sprache. Jede vorhergesagte Ausgabe wird auf exakte Übereinstimmung überprüft. Belohnt wird das Wissen darüber, wie die jeweilige Sprache tatsächlich funktioniert (Standardeinstellungen, Sortierreihenfolge, Rundungsverhalten usw.) – nicht das Schreiben neuen Codes. Der Score gibt an, welcher Anteil der vorhergesagten Ausgaben korrekt ist.
Agent
Der Agent gibt dem Modell einen Fehlerbericht zu einem kleinen Projekt mit mehreren Dateien sowie die Werkzeuge, die der Kodierungsassistent verwendet: Dateien auflisten, lesen und durchsuchen, sie bearbeiten sowie die Tests ausführen. Es handelt sich um eine einzelne Aufgabe (1 in dem Paket); daher kann eine einzige Ausführung diese Spalte erheblich verschieben. Das korrigierte Projekt wird bewertet, indem seine Tests ausgeführt werden.
Werkzeuge
„Tools“ prüft, ob ein Modell Werkzeuge korrekt aufruft. Jeder Fall ist ein skriptgesteuerter Dialog mit einem Werkzeug – das Modell muss das richtige Werkzeug auswählen, gültige Argumente übergeben, das Ergebnis verwenden und dabei die in der Konfiguration eingebauten Fallstricke vermeiden. Ein fehlerhaft formulierter Aufruf gilt als Fehler.
Tok/S
„Tok/s“ ist die mittlere Geschwindigkeit, mit der das Modell während der Ausführung Text generiert hat. Die lokalen Modelle wurden auf unserer eigenen Hardware ausgeführt; daher sind diese Geschwindigkeiten untereinander vergleichbar. Bei den gehosteten Modellen hängt die Geschwindigkeit vom Anbieter sowie von dessen Auslastung ab. Deswegen sollte man diese Werte eher als grobe Richtwerte betrachten.
Laufkosten
Die Laufkosten berechnen sich aus den Kosten für jede Anfrage – basierend auf den vom Anbieter angegebenen Preisen: dazu gehören die gesendeten sowie die zurückgesendeten Tokens, einschließlich der Zeit, die für die Verarbeitung benötigt wird. Diese Berechnung gilt für die Standard-Tests „Code“ und „Chat“. Ausgeschlossen sind dabei Bonuspakete, Wiederholungen der Anfragen, der „Judge“-Prozess (der auf unserer eigenen Hardware läuft) sowie eventuelle Rabatte bei Nutzung außerhalb der Hauptverkehrszeiten. Somit entspricht dieser Betrag in etwa dem Preis, den man zu zahlen hätte, wenn man die regulären Preise zahlt. Ein „~“ bedeutet, dass der Anbieter nicht pro Token abrechnet – es handelt sich dabei um ein Festpreismodell. In diesem Fall haben wir die Anzahl der Tokens zu den regulären Preisen berechnet. Ein „*“ bedeutet, dass bei einigen Anfragen keine Nutzungsdaten zurückgegeben wurden; daher kann der Wert untertrieben sein. Der Inhaltsfilter des Anbieters kann dazu führen, dass Antworten blockiert werden. In der entsprechenden Zeile wird angegeben, wie viele Antworten blockiert wurden – jede blockierte Antwort erhält dabei die Bewertung „0“.
Klasse
Die Klassifizierung ist eine einfache Möglichkeit, Modelle nach ihrem Gesamtergebnis zu gruppieren: S, A, B und C – wobei S die beste Bewertung darstellt. Die Grenzwerte für jede Klasse sind in den Anmerkungen unter dem Board aufgeführt. Ein Modell, das keine vollständige Chat-Bewertung aufweist, hat weder ein Gesamtergebnis noch eine Klassifizierung.
Schlank
Lean vergleicht die Chat- und Code-Werte eines Modells mit dem Medianwert des Boards für beide Kategorien. Ist das Modell in einer der Kategorien deutlich besser als in der anderen, wird es als chat-leaning oder code-leaning eingestuft; ansonsten gilt es als ausgewogen. Die erforderliche Größe der Differenz ist in den Anmerkungen unter dem Board angegeben.
Suite
Die „Suite“ ist die Version des Testsets, mit der die Ergebnisse erzeugt wurden. Wenn sich die Tests ändern, werden die Modelle erneut ausgeführt – die alte Version bleibt unter „Vorherige Suite-Versionen“ gespeichert. Vergleichen Sie die Ergebnisse nur innerhalb einer einzigen Suite.
Testdatum
Das Testdatum ist der Tag, an dem die Ergebnisse des Modells für dieses Board erstellt wurden. Ein erneuter Lauf des Modells zeigt ein neueres Datum an.
Basiert auf
„Fine-Tune“ behält hier den Namen der Basisversion bei – und wird niemals durch „Nur neueste Versionen“ ausgeblendet. Dieses Feld ist standardmäßig aktiviert; es versteckt ältere Versionen eines Herstellers, wenn eine neuere Version derselben Reihe verfügbar ist und einen Rang hat. Wenn man in das Filterfeld einen Basisnamen eingibt – beispielsweise „Gemma 4“ –, werden alle darauf basierenden Produkte aufgelistet.
Quant
„Quant“ ist das Kompressionsformat für die Gewichte eines lokalen Modells. „Q8_0“ kommt dem Modell mit voller Präzision am nächchsten und ist der Standardwert auf diesem Board. Eine geringere Quantisierung ermöglicht eine schnellere Ausführung sowie die Nutzung kleinerer GPUs – doch die Leistung kann dadurch etwas abnehmen. Wir verwenden „Q6“ oder „Q5“ nur dann, wenn „Q8_0“ nicht auf unserem System funktioniert; unter „Q5“ gehen wir niemals hinunter. Ältere Einträge, deren Bewertung unter „Q5“ lag, bleiben im System mit dem Vermerk „unter Q5“ erhalten. Sie werden nur dann erneut getestet – und zwar mit dem Standard-Quantisierungswert –, falls sie bessere Ergebnisse erzielen. Falls dieselben Gewichte mit zwei verschiedenen Quantisierungswerten getestet wurden, wird eine Variante als „besser“ eingestuft; die andere Variante wird als „weitere Variante“ aufgeführt. „API“ bezeichnet ein gehostetes Modell – also ein Modell, das vom Anbieter in beliebiger Form bereitgestellt wird.
Hauptwerkbank öffnen Jeder Punktestand hier ist eine Spalte auf dem Brett.