Betrieben von CrucibleForge
Nachrichten & Updates
Was hat sich zwischen den Versionen geändert, was ist neu auf dem Board – und was haben wir beim Bauen gelernt? Die Anleitungen finden Sie unter Dokumentation.
4 Konstruktionsfehler, die meine Benchmark-Ergebnisse für das LLM verfälscht haben
Ein neues gehostetes Modell schnitt in unserem Benchmark-Test schlechter ab als sein älteres Pendant. Die Werte waren größtenteils realistisch – unser „Harness“-Tool kostete das Modell immerhin bis zu 1,7 Punkte. Hier sind die vier Fehler, wie viel jeder davon kostet – sowie ein kostenloses Tool, mit dem Sie Ihr eigenes „Harness“-Tool überprüfen können.
Modell-Benchmarks, Anwendungsfälle und Einrichtung: November 2026
Modell-Benchmarks, Anwendungsfälle sowie die Einrichtung für November 2026: Welches von insgesamt elf Modellen sollte man für das Programmieren, den Chat oder für die Nutzung auf eigener Hardware wählen? Außerdem: eine fünfschrittige Einrichtung zum Programmieren sowie die Kosten eines Projekts. Eine Standardausführung kostet 14,87 Dollar für Claude Fable 5.2 und 0,14 Dollar für DeepSeek V4.1-Flash-1017.
Claude Fable 5.2-Benchmark: Wo es punktet, was es kostet
Claude Fable 5.2 erzielt eine Bewertung von 25,2 auf MakoBench 4.1; es liegt in einer statistischen Gleichheit mit anderen Modellen an erster Stelle. Es weist hier die beste Chat-Bewertung auf (12,7), verfügt über ein perfektes „Agentic Pack“, lehnt keine Anfragen ab – und kostet pro Ausführung 14,87 Dollar.
MakoBench 4.1: Was hat sich geändert?
Suite 4.1 ist ein Korrektur-Release ohne neue Fälle. Zwei unabhängige Modellprüfer lasen jeden öffentlichen Lösungsschlüssel; etwa 190 Probleme wurden bestätigt, und das Board wurde erneut ausgeführt: Von den 38 bewerteten Modellen verbesserten sich 31 in beiden Boards – sowohl bei Chat als auch bei Code.
MakoBench Suite 4.0: Nominal 20, Klasse und Lean
Bei Suite 4.0 werden für „Code“ und „Chat“ jeweils die Bewertung 10 vergeben – anstelle von Prozentwerten. Die langsamsten sowie am meisten fehleranfälligen Tests werden ausgeschlossen. Zudem wurden die Kategorien „Class“ und „Lean“ hinzugefügt. Hier sind die Änderungen, die in der öffentlichen Version vorgenommen wurden – sowie was sich in unserer eigenen Version des Tools befindet, aber noch nicht in der offiziellen Version veröffentlicht wurde.
Mein KI-Agent hat ein Benchmarking-Tool für meine KI-Agenten entwickelt.
Unser Coding-Agent schrieb „bench-llm“ – ein Programm mit 1.660 Zeilen Python-Code, das lokale Modelle in LM Studio bewertet. Innerhalb von zwei Wochen erzielten alle unsere Modelle eine Bewertung von 5/5; daher ersetzten wir „bench-llm“ durch CrucibleForge: 276 Testfälle, davon 166 schwierige Fälle – kostenlos auf GitHub verfügbar.
MakoBench fügt eine Spalte für die Laufkosten hinzu
Die auf dem MakoBench-Board gehosteten Modelle zeigen nun an, wie viel eine Ausführung der Standard-Code- und Chat-Tests kostet. Antworten, die vom Inhaltsfilter des Anbieters blockiert werden, sind in der Zeile markiert und erhalten eine Bewertung von null.
Hauptwerkbank öffnen Die Zahlen hinter jeder Seite hier.