Mein KI-Agent hat ein Benchmarking-Tool für meine KI-Agenten entwickelt

Veröffentlicht
11 August 2026
Aktualisiert
9 November 2026
Von
Jacob Lloyd — mit KI-Unterstützung geschrieben, im Nachhinein
Lesezeit
24 Min. Lesezeit

Kurz gesagt: Unser KI-Coding-Agent schrieb bench-llm, eine einzelne Python-Datei, die prüft, wie schnell ein lokales Modell ist und ob es einfache Aufgaben erledigen kann. Sie funktioniert noch immer und ist kostenlos herunterladbar. Sie wurde innerhalb von zwei Wochen zu einfach, daher ersetzten wir sie durch CrucibleForge, ein größeres kostenloses Tool, das 276 Fragen stellt und den vom Modell geschriebenen Code ausführt, um ihn zu prüfen.

Am 11.08.2026 baten wir unseren Coding-Agenten um ein Tool, das die lokalen Modelle in unserem Agenten-Stack benchmarkt. Er lieferte bench-llm: 1.660 Zeilen Python, die die Geschwindigkeit in LM Studio messen, den von einem Modell geschriebenen Code ausführen und prüfen, ob das Modell eine kleine Agentenaufgabe bewältigen kann. Innerhalb von zwei Wochen erzielte jedes Modell, das uns interessierte, 5/5, daher bauten wir es zu CrucibleForge um: 276 Fälle Stand Oktober 2026, 166 davon schwer, Open Source auf GitHub. Diese Seite behandelt beide. Nutzen Sie bench-llm, um in fünf Minuten eine erste Zahl aus einem Modell zu bekommen. Nutzen Sie CrucibleForge, wenn Sie Modelle einordnen müssen, die alle die einfachen Tests bestehen.

tl;dr

  • bench-llm: eine Python-Datei, kostenloser Download. Es testet Geschwindigkeit (Zeit bis zum ersten Token, Tokens/Sek.), Fähigkeit (5 Tests: Code, Logik, JSON, Anweisungen, Zusammenfassung) und Agenten-Eignung (3 Prüfungen an einer Syslog-Aufgabe). Benötigt Python 3.8+, pip install openai requests und LM Studio.
  • Warum es eingestellt wurde: 5 Fähigkeitstests und 3 Agentenprüfungen unterscheiden Modelle nicht mehr, sobald gute Modelle alle bestehen.
  • CrucibleForge 3.6: 276 Fälle, 166 schwer. Code läuft in einer Sandbox und wird anhand des Ergebnisses bewertet. Es funktioniert mit jedem OpenAI-kompatiblen Endpunkt, hat eine Web-GUI und läuft jetzt auch in Docker und unter Windows. MIT-Lizenz, github.com/LaserLloyd/CrucibleForge.
  • Was die Rangliste zeigt: Kimi K3.1 Pro hat den höchsten Wert auf der Rangliste vom 08.11.2026 mit 19,3 von 20, obwohl der eigene Paarvergleich der Rangliste alle 26 Modelle als gleichwertig einstuft; MiniMax M3 hat erstmals eine bewertete Punktzahl (14,6, und 15,5 sobald seine erneuten Läufe mitzählen) bei etwa 0,57 $ pro Lauf, und die gesamte Rangliste kostete 68,21 $.

Änderungshistorie: 26.08.2026, bench-llm eingestellt und die Ergebnisse in die Nachfolge-Suites überführt. 16.09.2026, CrucibleForge-Abschnitt neu geschrieben, Rangliste aus den gespeicherten Laufdateien neu erstellt, Titelbild neu gezeichnet. 19.10.2026, CrucibleForge-Abschnitt für 3.6.0 aktualisiert (Neuerungen): aktuelle Installation, der Ein-Befehl-Benchmark, Docker. 02.11.2026, die Modell-Rangliste aus dem Lauf vom 02.11.2026 neu erstellt (Suite 4.0.0). 09.11.2026, die Rangliste der schweren Stufe aus dem Lauf vom 08.11.2026 neu erstellt (Suite 4.1.0): 26 bewertete Modelle, Laufkosten wieder in der Rangliste, MiniMax M3 erstmals bewertet.

Was am Ende herauskommt

Ein einziger Befehl für ein Modell gibt Folgendes aus (Beispielausführung, gekürzt):

$ bench-llm gemma-4-31b-it

  bench-llm — Benchmarking: gemma-4-31b-it
  GGUF Size:     16.5 GB     Quant: Q4_K_M

  ⚡ SPEED BENCHMARKS
    short_50    TPS: mean=84.2   TTFT: mean=0.231s
    medium_200  TPS: mean=85.7   TTFT: mean=0.312s
    long_800    TPS: mean=82.1   TTFT: mean=0.541s
  🔍 Validating speed plausibility...  Confidence: HIGH

  🧠 ABILITY TESTS
    Code Generation (median_of_list)... PASS
    Logic Puzzle (Pet Ownership)....... PASS
    JSON Compliance.................... PASS
    Instruction Following.............. PASS
    Summarization (Key Facts).......... FAIL
    Ability Score: 4/5

  🤖 AGENT FITNESS TESTS
    Task Acknowledgment / Format Adherence / Conciseness: PASS
    Agent Fitness Score: 3/3

  📄 Results saved: ~/benchmarks/gemma-4-31b-it-2026-08-11.json

Die JSON-Datei enthält alle Rohdaten zu den Zeiten, alle Antworten des Modells sowie eine Zusammenfassung. Sie können diese Datei an Ihren Agenten weitergeben und fragen: „Welches unserer Modelle sollte die Arbeit mit großen JSON-Daten übernehmen?“

Was testet bench-llm?

Geschwindigkeit

Es werden drei Prompt-Längen gesendet (ca. 50, 200 und 800 Zeichen). Anschließend erfolgen Warm-up-Läufe sowie Messungen von drei Werten. TTFT (Zeit bis zum ersten Token) gibt an, wie lange man warten muss, bis Text erscheint; Werte über 500 ms wirken im Chat langsam. Durchsatz (Tokens pro Sekunde) zeigt, wie schnell das Modell nach Beginn der Ausgabe schreibt. Prefill T/s gibt an, wie schnell das Modell den eingegebenen Prompt liest.

Zudem wird eine Glaubwürdigkeitsprüfung gegen bekannte Hardware-Grenzen durchgeführt. Wenn ein 30-GB-Modell angeblich 200 T/s auf einer 7900 XTX erreicht, markiert bench-llm diesen Wert als fragwürdig – vermutlich wurde er durch spekulative Dekodierung oder einen „warmen“ Cache verfälscht.

Fähigkeiten

  • Code-Generierung: Es soll median_of_list(numbers) geschrieben werden – inklusive der Behandlung von Randfällen. bench-llm führt die Funktion auf sechs Testfällen aus, anstatt nur den Text zu lesen.
  • Logik-Rätsel: Ein Rätsel zur Verteilung von Haustieren unter vier Personen. Der Prüfer extrahiert alle vier Zuweisungen aus der Antwort.
  • JSON-Konformität: Es muss ein Objekt mit exakt definierten Schlüsseln zurückgegeben werden – das ist die Mindestanforderung für Tool-Calls durch das Modell.
  • Befehlsausführung: Es sollen die Zahlen 1 bis 10 aufgelistet, die geraden markiert und summiert werden. Die Mathematik ist trivial; entscheidend ist lediglich das gewünschte Format.
  • Zusammenfassung: Ein dichter Textabschnitt soll zusammengefasst werden – dabei müssen sechs spezifische Informationen erhalten bleiben. Die meisten Modelle vergessen mindestens eine davon.

Eignung als Agent

Dem Modell wird eine realistische Aufgabe gestellt: Es soll im Syslog nach ERROR-Einträgen suchen, diese nach Diensten gruppieren und einen JSON-Bericht zurückgeben. Drei Kriterien bewerten dabei die Antwort:

  • Aufgabenverständnis: Beschreibt das Modell einen Lösungsansatz und nennt auch, was es nicht leisten kann? Ein Modell, das selbst fiktive Syslog-Einträge erfindet, scheitert.
  • Formatkonformität: Enthält die Antwort ein services-Array, eine ganze Zahl total_errors sowie einen String scan_period?
  • Kompaktheit: Das Verhältnis von Ausgabe- zu Eingabelänge. Eine Antwort mit 20.000 Zeichen auf einen 1.300-Zeichen-Prompt wird als „zu ausführlich“ eingestuft – schließlich verbraucht ein redseliger Agent bei jeder Interaktion schnell seinen Kontextspeicher.

Wie es entstanden ist

Unsere Anweisung an den Codierungsagenten bestand aus einem Satz: „Wir brauchen ein Tool, das lokale Modelle in LM Studio bewertet – Geschwindigkeit und Intelligenz getestet werden sollen; außerdem muss das Tool JSON sowie eine Tabelle ausgeben.“ Der Agent entwickelte das Tool an einem Nachmittag in vier Schritten: Zuerst wurden Geschwindigkeitstests über LM Studios OpenAI-kompatible Streaming-API durchgeführt, anschließend Leistungstests. Danach folgte die Implementierung der eigentlichen Funktionalität sowie die Feinabstimmung – dazu gehörte das Auffinden der GGUF-Datei auf der Festplatte sowie diverse Plausibilitätsprüfungen (--quick, --list, --check). Der Agent schrieb jede einzelne Zeile Code selbst. Unser Part bestand darin, das Tool mit echten Modellen zu testen und Feedback zu geben. Die Plausibilitätsprüfung wurde eingeführt, weil wir dem Agenten sagten, dass eine bestimmte Durchsatzrate für ein 123-Milliarden-Parameter-Modell unmöglich sei.

Design-Entscheidungen, die man in eigene Tools übernehmen sollte:

  • Streamen statt Abfragen. Die Zeitmessung pro Token ist der einzige Weg, um eine korrekte TTFT-Messung zu erhalten.
  • Code ausführen. Code, der zwar überzeugend aussieht, aber nicht ausgeführt werden kann, gilt als fehlerhaft – nicht als erfolgreich.
  • Antwort extrahieren, bevor sie geprüft wird. Die Prüfmechanismen entfernen dabei Vorwörter wie „Natürlich! Hier ist Ihre Antwort:“. So wird nur der eigentliche Inhalt bewertet – nicht der Einleitungstext.
  • Jeden Testlauf mit einer leeren GPU starten. Andernfalls verfälscht der Cache des vorherigen Modells die TTFT-Messung. Wie bench-llm dies erreicht, ist das erste „Fallstrick“, auf den man achten muss.

Einrichtung

# 1. Install both dependencies (requests reads LM Studio's model metadata;
#    without it every model shows as "not found")
pip install openai requests

# 2. Start LM Studio with at least one model; it listens on localhost:1234

# 3. Run it
./bench-llm --list                         # what's available
./bench-llm gemma-4-31b-it --quick         # smoke test
./bench-llm gemma-4-31b-it                 # full benchmark

Es gibt keine Konfigurationsdateien und auch keine Datenbank. LM Studio akzeptiert jeden beliebigen String als API-Schlüssel. Die Ergebnisse werden in ~/benchmarks/ gespeichert. Wenn Sie das Skript von überall aus ausführen möchten, kopieren Sie es in einen Ordner, der sich in Ihrem PATH befindet.

Fallstricke

  • Es beendet llama-server. Um jeden Durchlauf sauber zu starten, ruft das Skript pkill -f llama-server auf und wartet, bis LM Studio meldet, dass keine Modelle mehr geladen sind. Auch alle anderen Instanzen von llama-server auf dem System werden dadurch beendet. Führen Sie diesen Test nicht auf einem Rechner aus, der noch andere Dienste bereitstellt – oder entfernen Sie diesen Schritt.
  • Der Kodierungstest führt die Modellausgabe mittels exec() aus. Dabei wird ein neuer Namespace verwendet; dieser stellt jedoch keinen Sandbox-Bereich dar. Führen Sie den Test daher als Benutzer aus, der nichts zu verlieren hat – oder überspringen Sie die Funktionalitätstests mit --speed-only.
  • Reasoning-Modelle wirken langsam. Der Wert TTFT zählt das erste Token – unabhängig davon, ob es sich um ein Denk- oder Inhalts-Token handelt. Im JSON-Format wird dieses Token in ttft_reasoning_s und ttft_content_s aufgeteilt.
  • Eine Bewertung von 4/5, wobei nur die Zusammenfassungsaufgabe fehlschlägt, ist ein sehr gutes Ergebnis. Fast jedes Modell vergisst mindestens eine Information.
  • Ein vollständiger Test pro Modell dauert 2–5 Minuten. Nutzen Sie --quick, um viele Modelle schnell zu vergleichen; für die finalen Kandidaten sollten Sie anschließend den vollständigen Test durchführen.
  • LM Studio muss bereits laufen. bench-llm verbindet sich mit localhost:1234 und startet nichts von selbst.

Ergebnisse: Basismodelle auf unserem „Rig“ und dem Mini-PC

Die Werte stammen aus dem Zwischenbericht nach den Benchmarks von bench-llm (gleiche Messmethode, mehr Tests; Bericht vom 18.08.2026). Das „Rig“ ist ein GPU-System ohne Monitor, ausgestattet mit 2× RTX 5090 und 2× RTX 3090. Die „APU“ ist die integrierte GPU des Mini-PCs (als dieser noch einen lokalen Modellserver betrieb). Vergleichen Sie die Geschwindigkeiten ausschließlich innerhalb eines Geräts. Code, Tools, Instruct und Reason geben die Erfolgsraten an.

ModellGerätGenerierte Tokens/Sek.TTFTCodeToolsInstructReason
Gemma 4 26B-A4B (QAT, Q4)Rig229,0110 ms88%100%50%95%
Nemotron 3 Nano 4B (Q8)APU18,5175 ms92%70%94%95%
Gemma 4 12BAPU10,1633 ms————

Das Gemma 4 26B-Modell (mit 4 Milliarden aktiven Parametern) ist das Standardmodell auf dem „Rig“: Es generiert 229 Tokens pro Sekunde, benötigt 110 ms für die Ausgabe des ersten Tokens und weist eine perfekte Erfolgsrate beim Aufruf von Tools auf. Seine Schwäche liegt im Befolgen von Anweisungen – ein Aspekt, auf den ein unüberwachter Agenten-Loop besonders angewiesen ist. Das Nemotron-3-Modell auf dem Mini-PC folgt Anweisungen besser (94 % gegenüber 50 %). Allerdings ist es etwa zwölfmal langsamer (18,5 vs. 229 Tokens pro Sekunde) und läuft auf einem anderen Gerät. Wählen Sie das Modell entsprechend den Anforderungen Ihrer Arbeitslast – nicht nach der höchsten Geschwindigkeit.

Was es ersetzt hat: CrucibleForge

bench-llm ist aufgrund seines eigenen Erfolgs „gestorben“. Fünf Bewertungstests ergeben zwar ein gutes Ergebnis für die Qualität eines Rauchmelders – doch bei der Rangliste sind sie nutzlos: Sobald jedes Modell 5/5 bzw. 3/3 Punkte erhält, hat das Tool nichts mehr zu sagen. CrucibleForge ist die Neuschreibung dieses Tools. Mittlerweile umfasst es etwa 12.000 Zeilen Python-Code; seine Grundregel lautet: Eine schwierige Frage sollte dennoch leicht bewertbar sein.

  • 166 schwierige Aufgaben. Mathematikaufgaben mit ganzzahligen Ergebnissen, Logikrätsel mit eindeutigen Lösungen sowie Programmierprobleme, bei denen die Tests eine bestimmte Komplexität erzwingen (z. B. läuft ein Algorithmus zur Zählung von Inversionen in O(n²)-Zeit aus). Außerdem Fallen bezüglich der Tool-Nutzung – etwa falsche Werkzeuge oder Prompt-Injection –, die Verarbeitung sehr langer Texte (12.000 bis 24.000 Tokens) sowie Anweisungen mit mehreren Einschränkungen.
  • Der Code wird durch Ausführung bewertet in einer bwrap-Sandbox ohne Netzwerkanschluss, mit schreibgeschütztem System und einer Zeitbegrenzung von 15 Sekunden. Damit der Test bestanden wird, muss eine bestimmte Kennzeichen-Zeichenkette in die Standardausgabe geschrieben werden – ein Programm kann also keinen Erfolg vortäuschen, indem es mit dem Statuscode 0 beendet wird. Ohne bwrap (was auf macOS und Windows immer der Fall ist) weigert sich das System, Modellcode auszuführen – es sei denn, man gibt --allow-unsandboxed an.
  • Textuelle Antworten erhalten eine „Gold-Antwort“. Das Bewertungsmodell kennt die korrekte Antwort und entscheidet lediglich, ob die gegebene Antwort denselben Sinn hat. Jedes halbwegs brauchbare Instruktionsmodell kann das leisten – somit ist der Bewerter nicht mehr das schwächste Glied im System.
  • Jeder OpenAI-kompatible Endpunkt ist möglich: LM Studio, Ollama, llama.cpp, vLLM, DeepSeek, OpenRouter usw. Gehostete Modelle verarbeiten die Aufgaben parallel und geben die verbrauchten Tokenkosten an. API-Schlüssel müssen ausschließlich über Umgebungsvariablen bereitgestellt werden.
  • Es rettet Antworten, die Denkmodelle verlieren. Ein Reasoning-Modell, das sein gesamtes Budget für „Nachdenken“ verbraucht, gibt oft eine leere Antwort zurück. Das System erkennt das, fragt erneut nach – diesmal ohne „Nachdenken“-Modus – und zählt, wie oft das vorkommt. recover führt genau diese fehlerhaften Aufgaben aus einem früheren Lauf erneut aus.
  • Es teilt GPUs höflich mit anderen. Auf unserem StudioForge-System erhält ein Lauf zunächst die benötigten GPU-Ressourcen und gibt sie nach Abschluss wieder frei. Das Tool bench-llm löste dasselbe Problem früher, indem es alle Modelle beendete – mittels pkill.
  • Eine Web-Oberfläche unter 127.0.0.1:8777 erlaubt es, Modelle und Kategorien auszuwählen, den Log zu beobachten sowie fehlgeschlagene Aufgaben einzusehen – inklusive Prompt, Antwort, Reasoning sowie Kommentar des Bewertungsmodells. Vor der Nutzung außerhalb des lokalen Netzwerks ist ein Token erforderlich.

Ausprobieren

Der einfachste Weg ist Docker – schließlich dient der Container auch als Sandbox für den von den Modellen geschriebenen Code. Unter Linux, nachdem Docker installiert wurde:

git clone https://github.com/LaserLloyd/CrucibleForge.git && cd CrucibleForge
cp deploy/compose/.env.example deploy/compose/.env    # LLM_BASE_URL defaults to port 1234 on the Docker host
docker compose -f deploy/compose/compose.yml up -d
docker compose -f deploy/compose/compose.yml logs app | grep "GUI:"   # open the printed http://127.0.0.1:8777/?token=... URL

Oder direkt nativ – unter Linux erhält man dadurch die Isolation durch bwrap für die jeweiligen Programmierfälle:

sudo apt-get install -y bubblewrap
git clone https://github.com/LaserLloyd/CrucibleForge.git && cd CrucibleForge
uv sync --python 3.13
uv run crucibleforge config --init      # writes models.yaml; set base_url to your server's /v1
uv run crucibleforge status             # is the provider up? how many cases?
uv run crucibleforge all --models my-model --fresh --yes
uv run crucibleforge gui                # http://127.0.0.1:8777

Geben Sie --python 3.13 an: Auf einem „rohen“ System kann ein einfaches uv sync eine neuere Python-Version auswählen, als vom Projekt unterstützt wird. Unter macOS und Windows gibt es kein bwrap; daher erfordern native Ausführungen vor dem Subbefehl --allow-unsandboxed – anschließend läuft der vom Modell generierte Code unter Ihren Rechten. Alternativ kann man auch Docker Desktop nutzen. Falls Ihr Modellserver einen API-Schlüssel benötigt, geben Sie den Variablennamen in api_key_env bei dem jeweiligen Anbieter in der Datei models.yaml an; der eigentliche Schlüssel bleibt dabei in der Umgebung.

all führt den einzigen Benchmark aus, nämlich profiles/bench.yaml: 49 Fälle, die als kleinste Menge gewählt wurden, welche die Modelle noch voneinander unterscheidet; anschließend erfolgt die Bewertung sowie die Auswertung durch das Board. Jedes Modell erhält zwei Bewertungen zwischen 0 und 100. Die Kategorie Coding basiert auf deterministischen Bewertungsalgorithmen (Programmierung, Werkzeugnutzung, Befolgen von Anweisungen, logisches Denken sowie Mathematik). Bei Chat werden Schreibstil, Rollenspiel und Steuerbarkeit bewertet – inklusive Kategorien mit Inhalten für Erwachsene, die auf dieser Seite nicht behandelt werden. Die restlichen 276 Fälle bleiben im Testpaket erhalten; sie können mittels --cases oder --categories gezielt ausgeführt werden. Weitere Befehle sind run, judge, recover, report, pairwise, models, bench-all, import-openclaw sowie cases.

Das Web-GUI-Dashboard von CrucibleForge 3.6.0 mit der mitgelieferten Beispielkonfiguration: Eine Tabelle der Anbieter, in der lmstudio, ollama, llamacpp und openwebui als DOWN markiert sind; die gehosteten Anbieter hingegen als UP, wobei deren API-Schlüssel-Variablen noch nicht gesetzt sind; ein Bewertungspanel, das den Benchmark-Bewerter sowie vier Ersatzkandidaten nennt; sowie eine Tabelle mit 276 Testfällen, davon 166 als „schwierig“ klassifiziert.
Das GUI nach dem Klonen mit der Beispiel-Datei models.yaml und ohne bisherige Ergebnisse: Welche Anbieter antworten, welcher Bewerter den Benchmark bewertet sowie das Testfall-Set (276 Fälle, davon 166 schwierig). Da lokal nichts ausgeführt wurde, sind die Status als DOWN angezeigt.

Der Befehl, dem wir am meisten vertrauen, prüft die Fragen selbst. Er führt jede Referenzlösung in der Sandbox aus, berechnet alle mathematischen Ergebnisse erneut per Brute-Force-Methode und stellt anschließend jeden „langen“ Kontext neu zusammen. Dies ist seine Ausgabe auf einer sauberen Kopie von Version 3.6.0 am 19.10.2026:

$ uv run crucibleforge cases verify
276 cases checked, 0 with problems (36 reference solutions executed, 37 answers re-derived)

Das Testpaket führt dieselbe Prüfung durch – daher kann eine fehlerhafte Frage nicht unbemerkt alle Modelle zum Scheitern bringen, während sie für die „schwierige“ Kategorie als bestanden gelten würde.

Was ist neu in Version 3.6

CrucibleForge 3.6.0 (18. Oktober 2026) ändert die Art und Weise, wie das Projekt installiert und ausgeführt wird – nicht jedoch, was es misst. Keine Testfälle, Bewertungskriterien oder Metriken wurden verändert; Ergebnisse, die mit der Version 3.5.1 erstellt wurden, gelten weiterhin als Teil desselben Testsatzes. Somit veraltet nichts auf bereits vorhandenen Boards.

  • Docker. Ein read-only-Image ohne Root-Rechte von etwa 190 MB – mit der GUI unter 127.0.0.1:8777. Ihre Datei models.yaml sowie die Ergebnisse befinden sich auf einem Volume, das Upgrades übersteht. Innerhalb des Containers werden die Testfälle ohne bwrap ausgeführt – schließlich fungiert der Container selbst als Sandbox. Der Container kann dennoch das Netzwerk nutzen; betrachten Sie ihn daher als Umgebung, in der unvertrauenswürdiger Code läuft.
  • Windows. Das Testpaket läuft unter Windows; außerdem verfügt die CI-Infrastruktur über eine Windows-Komponente. Einschränkung: Der Mechanismus, der verhindert, dass zwei Benchmarks gleichzeitig laufen, wird unter Windows nicht durchgesetzt – starten Sie daher jeweils nur einen Benchmark nach dem anderen.
  • Sandbox-Selbsttest. Falls bwrap installiert ist, aber keine Isolierung gewährleisten kann (z. B. innerhalb eines Containers oder bei blockierten Benutzernamenräumen), wird dies vor Beginn des Laufs erkannt. Anschließend wird der Lauf abgelehnt – oder, mit --allow-unsandboxed, unsandboxiert ausgeführt; in diesem Fall wird das explizit angegeben. Auf diese Weise kommt es nicht zu Fehlern bei allen Testfällen.
  • API-Schlüssel sowie verständlichere Fehlermeldungen. status gibt an, wenn der Server mit 401 oder 403 antwortet – und nennt dabei die entsprechende Variable, die gesetzt werden muss. Genau das benötigt ein StudioForge 2.0-Gateway, das API-Schlüssel verwendet.
  • Behebung vom 19.10.2026: Der „Judge pending rows“-Button in der GUI wertete Zeilen mit einem Ersatz-Bewerter aus; dessen Urteile werden jedoch nicht im System berücksichtigt. Nun wird stattdessen der eigentliche Bewerter des Benchmarks verwendet – so wie es bereits bei der Ausführung über die Kommandozeile der Fall war. Das Dashboard nennt diesen Bewerter ebenfalls korrekt.

Aktualisierung. Standardmäßig genügt git pull && uv sync --python 3.13. Falls Ihre Datei models.yaml StudioForge auf Port 8080 verweist, ändern Sie dies in 1234 – denn Port 8080 dient dem StudioForge-Panel, während die API unter Port 1234 erreichbar ist. Eine bereits vorhandene Datei models.yaml wird dabei nicht automatisch überschrieben. Unter Docker führen Sie git pull sowie anschließend docker compose -f deploy/compose/compose.yml up -d --build aus; das Volume bleibt dabei erhalten. Der Befehl down -v löscht dieses Volume schließlich vollständig.

Wie ein Bericht aussieht

report erstellt eine Markdown-Datei sowie eine JSON-Datei. Für jedes Modell gibt es eine Zusammenfassungszeile sowie eine Zeile pro Kategorie mit den Rohdaten. Hier ist die Zeile für DeepSeek V4 Pro pro Kategorie:

| Model        | Coding      | Math        | Tool use    | Instruction  | Reasoning    | Long-context |
| deepseek-pro | 89% (54/61) | 95% (21/22) | 94% (31/33) | 100% (31/31) | 100% (37/37) | 97% (29/30)  |

Jeder Fehler wird samt seinem Grund aufgelistet. Alle sieben Programmierfehler sehen aus wie die erste Zeile unten. Die zweite Zeile zeigt einen der beiden Fälle, in denen das Modell bei der Nutzung von Werkzeugen versagt hat:

- deepseek-pro [coding] CZ01-prime-census: TRUNCATED at 32768 tokens (32768 reasoning tokens); no code in response
- deepseek-pro [tooluse] TZ06-three-parallel-one-turn: 1 calls, expected 3

Das ist der nützliche Teil des Berichts: Das Modell hat keinen schlechten Code geschrieben; es hat nachgedacht, bis sein 32.768-Token-Budget aufgebraucht war – und anschließend keinen einzigen Codezeilen mehr geschrieben. Ein größeres Budget oder geringerer Rechenaufwand würden dieses Ergebnis verändern. Allein die Erfolgsquote verrät einem das nicht.

Bei gehosteten Modellen wird im Bericht außerdem die Ausführungskosten angegeben – also der Preis für eine Ausführung der Standardtests (siehe die MakoBench-Dokumentation).

Ergebnisse der „Hard“-Kategorie

Dies ist das Ergebnisblatt vom 2026-11-09; es wurde anhand des Laufs vom 2026-11-08 unter Suite 4.1.0 erstellt und von gemma-4-31B bewertet. Die Bewertung erfolgt wie oben beschrieben: Jede Kategorie wird auf einer Skala von 10 Punkten bewertet; die Gesamtpunktzahl liegt bei maximal 20 Punkten (Coding plus Chat). Eine Kategorie erreicht mehr als 10 Punkte erst, wenn ein „Ladder Pack“ freigeschaltet wird – dabei handelt es sich um drei schwierigere Aufgaben, die jeweils 1 Punkt wert sind und nur vergeben werden, wenn man in allen vorherigen Kategorien mindestens 90 % erreicht hat. „Coding“ umfasst die deterministischen Aufgaben (Funktionen, Vorhersagen, Fehlersuche, Werkzeugnutzung); „Chat“ beinhaltet die bewerteten Aufgaben (Rollenspiele, Gespräche, kreatives Schreiben). Der Wert „±“ nach einer Punktzahl gibt die halbe 90%-Intervallbreite an – zwei Modelle, deren Intervalle sich überschneiden, gelten als gleichwertig, nicht als rangmäßig unterschiedlich.

Klasse gibt an, in welche Gruppe eine Punktzahl fällt (S ab 16 Punkten, A ab 13 Punkten, B ab 10 Punkten). „Rows finished“ zeigt den Anteil der Zeilen an, deren Ausgaben innerhalb des zulässigen Budgets blieben; Zeilen, bei denen das Budget aufgebraucht wurde, gelten als fehlgeschlagen. Einige Zeilen warten noch auf einen erneuten Versuch – daher können sich einzelne Punktzahlen noch ändern. „Run cost“ gibt an, wie viel ein Standardlauf bei den aktuellen Preisen des Anbieters kostet; die Bewertung erfolgt dabei auf unseren eigenen Rechenknoten. Im Bericht wird außerdem die mittlere Generierungsgeschwindigkeit angegeben – diese ist jedoch nur zwischen Modellen vergleichbar, die auf demselben Host laufen; da es sich hier um Maschinen verschiedener Anbieter handelt, lassen wir diesen Wert weg.

Neu bewertet – und ein Unentschieden für das gesamte Ergebnisblatt

  • Ein Lauf, ein Bewerter, ein Tag. Alle 26 Zeilen wurden am 2026-11-08 unter Suite 4.1.0 mit gemma-4-31B als Bewerter ausgeführt und bewertet.
  • Der interne Vergleichstest kann keine Unterschiede zwischen den Modellen feststellen. Das 90%-Intervall jedes benachbarten Paares enthält den Wert Null; dadurch erhalten alle 26 Zeilen dieselbe Rangklassifizierung. Die Werte von 19,3 bis 11,3 sind lediglich Schätzungen, keine Rangplätze.
  • MiniMax M3 verfügt nun über eine bewertete Punktzahl. In der vorherigen Auswertung erhielt es lediglich einen Wert für „Coding“; hier liegt die Gesamtpunktzahl bei 14,6 ± 1,7. Nach erneuten Läufen mit größerem Budget steigt dieser Wert auf 15,5 – ein weiterer Versuch steht noch aus. Bei Kosten von etwa 0,57 Dollar pro Lauf ist das nur ein Siebtel der Kosten des Spitzenmodells.

Schwierigkeitsstufe: Hoch – komplettes Board mit 26 Modellen

ModellGesamtwertungCodingChatKlasseAbgeschlossene AufgabenAusführungskosten
Kimi K3.1 Pro19,3 ± 0,510,0 ± 0,19,3 ± 0,5S100%$4,07
Grok 4.719,2 ± 0,310,0 ± 0,19,2 ± 0,3S100%$3,91
Claude Opus 5.519,2 ± 0,510,0 ± 0,19,2 ± 0,5S100%$4,50
DeepSeek V4 Flash18,8 ± 0,811,2 ± 0,47,6 ± 0,6S92% (bei 4 Modellen wurden die Token aufgebraucht)$0,14
Claude Sonnet 5.518,6 ± 0,410,0 ± 0,18,6 ± 0,4S100%$2,36
GPT-6.1 Terra17,9 ± 1,09,4 ± 0,68,5 ± 0,7S100%$0,63
DeepSeek V4 Pro17,8 ± 0,710,1 ± 0,57,7 ± 0,4S89% (bei 5 Modellen wurden die Token aufgebraucht)$0,57
GPT-6 Luna17,7 ± 0,69,7 ± 0,28,0 ± 0,5S100%$0,08
Claude Opus 516,7 ± 1,48,3 ± 1,28,4 ± 0,4S100%$5,07
Claude Opus 4.816,3 ± 0,69,2 ± 0,57,1 ± 0,4S100%$4,37
Claude Fable 5.116,1 ± 0,97,7 ± 0,58,4 ± 0,7S100%$10,23
Claude Opus 4.716,1 ± 0,89,3 ± 0,66,8 ± 0,5S100%$4,75
Claude Fable 516,0 ± 1,97,5 ± 1,98,5 ± 0,6S100%$9,70
Claude Haiku 5.515,3 ± 1,19,2 ± 0,76,1 ± 0,9A100%$0,11
Claude Opus 4.615,3 ± 1,38,0 ± 1,37,3 ± 0,3A100%$3,38
Claude Sonnet 515,3 ± 0,98,8 ± 0,86,4 ± 0,4A100%$2,81
Claude Sonnet 4.614,6 ± 1,67,6 ± 1,47,0 ± 0,7A97% (bei 1 Modell wurden die Token aufgebraucht)$2,98
MiniMax M2.5 Highspeed14,6 ± 0,88,3 ± 0,76,3 ± 0,4A100%~$0,63
MiniMax M314,6 ± 1,78,5 ± 0,86,0 ± 1,4A94% (bei 2 Modellen wurden die Token aufgebraucht)~$0,57
Claude Opus 4.513,8 ± 1,47,1 ± 1,26,7 ± 0,7A100%$3,27*
MiniMax M3.1 Flash13,6 ± 1,78,0 ± 0,95,6 ± 1,4A94% (bei 2 Modellen wurden die Token aufgebraucht)~$0,28
MiniMax M2.713,4 ± 1,76,7 ± 1,66,7 ± 0,5A100%~$0,30
MiniMax M2.7 Highspeed13,2 ± 1,27,6 ± 0,95,6 ± 0,8A100%~$0,62
Claude Sonnet 4.513,2 ± 1,16,4 ± 1,16,8 ± 0,4A100%$1,94*
MiniMax M2.512,2 ± 1,86,4 ± 1,65,8 ± 0,8B100%~$0,31
Claude Haiku 4.511,3 ± 1,25,7 ± 1,05,6 ± 0,6B100%$0,63*

Kostenübersicht: Eine Standardausführung aller 26 Modelle kostet insgesamt $68,21 an Token-Gebühren – und zwar nur für die Generierung. Die Bewertung erfolgt auf unseren eigenen Systemen; die Kategorie „erwachsenenbezogene Inhalte“, die auf dieser Seite nicht behandelt wird, wird separat berechnet. Zwölf der 26 Modelle kosteten weniger als einen Dollar – insgesamt $4,87. Die restlichen 14 Modelle verursachten Kosten in Höhe von $63,34; dabei entfallen allein auf die beiden teuersten Modelle, Claude Fable 5.1 und Claude Fable 5, $19,93. Bei sechs Modellen handelt es sich um geschätzte Werte, die auf Token-Zählungen basieren; bei drei Modellen steht ein Sternchen, da für einige Anfragen keine Nutzungsdaten vorlagen. Das tatsächliche Gesamtergebnis ist daher etwas höher.

Was nicht in der Tabelle steht: Die 32 Zeilen repräsentieren Feinabstimmungen, die wir auf unseren eigenen GPUs durchführen. In dem Bericht wird jede dieser Zeilen als „unvollständig“ gekennzeichnet – die Ausführungen deckten nicht das gesamte Standardfall-Set ab. Daher weist keine davon einen „Gesamtwert“ auf, und keine wurde rangiert. Vier dieser Zeilen sind außerdem komplett fehlgeschlagen: Bei drei wurde der Zugriff auf eine GPU verweigert; bei einer wurde die Ausführung mitten im Prozess gestoppt. Acht gehostete Modelle warten ebenfalls auf Bewertung: Bei drei wurden insgesamt 20 Zeilen vom Bewerter noch nicht bewertet; fünf weitere wurden bereits vor der Ausführung von ihrem Anbieter abgelehnt. Jede dieser Zeilen enthält zudem noch einige Bewertungen aus dem vorherigen Bewertungssystem; diese werden noch neu bewertet, weshalb sich die Zahlen leicht ändern können.

Bei den gehosteten Modellen werden deren Produktnamen angegeben. In 24 Zeilen sind Ergebnisse aus dem 4.0.1-Testlauf mit jenen des aktuellen 4.1.0-Laufs kombiniert; bei DeepSeek V4 Flash und DeepSeek V4 Pro kommen zudem Ergebnisse aus dem 3.9.0-Testlauf hinzu. Ein „~“ neben den Kostenangaben bedeutet, dass der Wert anhand der Anzahl der Tokens sowie des Listenpreises geschätzt wurde; ein „*“ zeigt an, dass bei einigen Anfragen keine Nutzungsdaten zurückkamen – daher könnte der Wert untertrieben sein. Vier ausstehende Zeilen enthalten außerdem Registrierungsbezeichnungen mit dem Namen eines nicht mehr unterstützten Modells; dieser Name wird auf dieser Seite nicht angezeigt.

Was wir daraus ableiten:

  • Niemand führt die Rangliste an. Jedes benachbarte Paar in der Tabelle weist ein 90-%-Intervall auf, das den Wert Null enthält. Diese „Unentschiedenheiten“ reichen von der obersten bis zur untersten Zeile – daher erhalten alle 26 Modelle dieselbe Rangstufe. Kimi K3.1 Pro mit einem Wert von 19,3 sowie Claude Haiku 4.5 mit 11,3 unterscheiden sich zwar um acht Punkte, sind in diesem Testlauf jedoch nicht voneinander zu unterscheiden; betrachten Sie die Reihenfolge daher lediglich als Schätzung.
  • Die Kosten sind das entscheidende Kriterium. Ein Standardtestlauf aller 26 Modelle kostete insgesamt 68,21 Dollar. DeepSeek V4 Flash erzielt dabei 18,8 Punkte für lediglich 0,14 Dollar; Claude Fable 5.1 kommt auf 16,1 Punkte bei Kosten von 10,23 Dollar – das entspricht etwa 85-mal weniger Punkten pro Dollar. Zwölf Modelle kosteten weniger als einen Dollar; vier davon erzielten dabei 16 oder mehr Punkte.
  • Beim Programmieren führen die DeepSeek-Modelle, beim Chat nicht. Nur DeepSeek V4 Flash (11,2) sowie DeepSeek V4 Pro (10,1) erreichen bei der Bewertung „Programmieren“ einen Wert über 10; beide erhielten zudem eine spezielle Belohnung. Kein Modell schafft es auf 10 Punkte im Bereich „Chat“ – der beste Wert stammt von Kimi K3.1 Pro mit 9,3 Punkten. Falls Sie ein Modell in einen Agenten integrieren wollen, ist die Spalte „Programmieren“ entscheidend.
  • Das Budget limitiert die Leistungsfähigkeit. Fünf Modelle verbrauchten ihr gesamtes Budget: DeepSeek V4 Pro (5 Zeilen), DeepSeek V4 Flash (4), MiniMax M3 sowie MiniMax M3.1 Flash (jeweils 2) und Claude Sonnet 4.6 (1). In der Tabelle werden solche Modelle als „fehlgeschlagen“ gekennzeichnet. Bei Modellen, die erneut getestet wurden, enthält die Spalte „Room“ auch die neuen Werte: MiniMax M3 erzielte 15,5 Punkte, MiniMax M3.1 Flash 14,5 – beide Werte liegen um 0,9 über dem ursprünglichen Ergebnis. Bei DeepSeek V4 Flash sowie Claude Sonnet 4.6 stehen die neuen Werte noch aus.
  • Anbieterfilter beeinflussen die Bewertung. Bei vier Modellen blockierte der Anbieter die Antworten aufgrund seiner Inhaltsfilter: Claude Fable 5 (6), Claude Opus 5 (2), Claude Fable 5.1 (2) sowie Claude Opus 5.5 (1). Solche blockierten Antworten erhalten die Bewertung „0“. Fünf weitere Modelle erhielten außerdem eine Bewertung, die der Bewerter nicht interpretieren konnte.

Download

Der Download enthält bench-llm, die ursprüngliche Version – nicht CrucibleForge (dieses befindet sich auf GitHub). Die ZIP-Datei enthält zwei Dateien: bench-llm, ein Skript mit 1.660 Zeilen, sowie README.md mit kurzen Einrichtungshinweisen. Es gibt nichts zu kompilieren oder zu installieren – lediglich entpacken und ausführen. Beide Dateien wurden vom Agenten erstellt und stehen unter der MIT-Lizenz. Die notwendigen Abhängigkeiten sind openai sowie requests. Lesen Sie bitte die Hinweise durch, bevor Sie das Programm auf einem Rechner ausführen, der auch andere Dienste bereitstellt.

Verwandte Themen: StudioForge (der GPU-Server, von dem diese Modelle die Grafikkarten mieten), Was meine KI-Agenten tatsächlich kosten (warum lokale Geschwindigkeit wichtig ist), DeepSeek Harness (ein Codierungsagent, der von diesen Modellen unterstützt wird) sowie der lokale Agenten-Stack, in dem sie laufen.

Downloads

Kostenlos für die private Nutzung. Wenn es dir einen Nachmittag erspart, ist der Kaffee-Button gleich in der Nähe.


← Mehr KI & lokale LLMs More MakoBench articles →