Modell-Benchmarks, Anwendungsfälle und Einrichtung: November 2026

Zu CrucibleForge auf GitHub

Welches Sprachmodell sollten Sie im November 2026 verwenden – und wie richten Sie es ein? Wir haben elf Modelle mit denselben MakoBench 4.1-Tests getestet. In diesem Leitfaden erfahren Sie, welches Modell für welche Aufgabe geeignet ist, finden die Ergebnisse in einer Tabelle, erhalten eine fünfschrittige Anleitung zur Einrichtung sowie Informationen über die Kosten eines Projekts.

Die kurze Antwort

Beginnen Sie mit der Auswahl des gewünschten Einsatzzwecks. Jede Karte nennt das Modell, das wir empfehlen, sowie die Kosten für einen Standard-Testlauf auf der jeweiligen Plattform.

Auswahl nach Einsatzzweck

• Programmierung – bestes ErgebnisClaude Fable 5.2Höchste Bewertung bei den Tests; bestand alle Prüfungen14,87 $ pro Testlauf
• Programmierung mit begrenztem BudgetDeepSeek V4.1-Flash-1017Erreichte in allen Standard-Programmierungstests die volle Punktzahl0,14 $ pro Testlauf
• Chat oder HilfeleistungGPT-6.1 TerraGute Chat-Fähigkeiten; das schnellste Modell in der Auswahl0,63 $ pro Testlauf
• Muss auf eigener Hardware ausgeführt werdenSwish 31B FinalDas beste lokale Modell in der AuswahlKeine API-Gebühren
• Ein Modell für alle ZweckeGrok 4.7Zu den Top-Fünf; gute Chat-Fähigkeiten; kostet nur ein Viertel von Fable3,91 $ pro Testlauf

Falls Sie sich nur eines merken sollen: Die Top-Fünf-Modelle sind im Ergebnis gleichwertig. Zahlen Sie also nur für das teurere Modell, wenn es Aufgaben erledigt, die die günstigeren Modelle nicht bewältigen können. In diesem Leitfaden sind das insbesondere das Planen sowie das Überprüfen von Code.

Das Board vom November 2026

Der „Gesamtwert“ ergibt sich aus der Summe von Arbeits- und Chat-Leistung. Die Standardtests bewerten jeweils bis zu 10 Punkte; zusätzliche Bonuspunkte können den Gesamtwert noch erhöhen – maximal auf 20 Punkte. Die „Agent-Tests“ geben an, welchen Anteil der Modelle bei mehrstufigen Programmieraufgaben erfolgreich abschließen konnte. Die „Laufkosten“ beziehen sich auf einen Standardlauf zum Preis des jeweiligen Anbieters. Beim Modell MiniMax bedeutet das Zeichen „~“, dass der Preis anhand der Anzahl der verwendeten Tokens berechnet wird – schließlich bietet MiniMax ein Festpreispaket an.

Was die Tabelle zeigt:

• Die Top-Fünf liegen gleichauf. Ihre Werte reichen von 23,9 bis 25,2; sie liegen innerhalb der Fehlermargen voneinander. Die Reihenfolge ist also kein Ranking.
• Der Preis unterscheidet die Modelle. Ein einziger Lauf kostet bei GPT-6.1 Sol 1,17 Dollar – bei Claude Fable 5.2 hingegen 14,87 Dollar.
• Die OpenAI-Modelle schaffen nur zwei von drei Agent-Aufgaben. Das ist für automatisiertes Programmieren relevant, nicht jedoch für den Chat-Betrieb.
• DeepSeek V4.1-Flash-1017 programmiert wie ein Spitzenmodell – im Chat wirkt es jedoch eher wie ein günstiges Modell. Seine Arbeitsleistung liegt bei 11,6, die Chat-Leistung bei 7,6. Nutzen Sie es also zum Programmieren, nicht zum Gespräch mit Menschen.
• DeepSeek V4-Pro-0813 lohnt sich nicht. Es erzielt niedrigere Werte als das Flash-Modell – kostet aber viermal so viel.

Korrektur: Anfangs zeigte Claude Fable 5.2 einen Wert von 24,2. Drei seiner Agent-Tests waren fehlgeschlagen, weil unser API-Konto kein Guthaben mehr hatte. Nach erneuter Ausführung bestand das Modell alle drei Tests – der neue Gesamtwert beträgt nun 25,2.

Ein separater Test zur Erstellung von Inhalten für Erwachsene befindet sich in einer eigenen Registerkarte des Boards; er fließt weder in den „Gesamtwert“ noch in die obige Auswahl ein. Alle Ergebnisse und Tests finden Sie auf dem MakoBench-Board.

Richten Sie die empfohlene Programmier-Stack ein

Für echte Programmierarbeiten sollte die Aufgabe aufgeteilt werden: Ein „Harness“ führt den Prozess aus; ein leistungsstarkes Modell plant und überprüft die Arbeit; ein günstiges Modell schreibt den Code.

Der Stack

1. HarnessDeepSeek Harness (dsh)Führt den Prozess aus und ruft die Modelle auf
2. LeadClaude Fable 5.2Plant die Arbeit und überprüft jede Änderung
3. Sub-agentsDeepSeek V4.1-Flash-1017Schreibt den Code und reicht ihn zur Überprüfung ein

Warum diese Aufteilung? Claude Fable 5.2 erzielt die besten Ergebnisse und besteht alle Tests – ist aber auch das teuerste Modell. DeepSeek V4.1-Flash-1017 erhält bei den Standard-Programmierungstests volle Punktzahl – zu einem Preis, der nur etwa ein Hundertstel dessen beträgt. Lassen Sie das „Lead“-Modell seine Ressourcen für die Planung nutzen und das „Coder“-Modell für das Schreiben des Codes. Falls Sie lieber ein einziges Modell für alles verwenden möchten, wählen Sie Grok 4.7.

Die Einrichtung erfordert fünf Schritte.

Fünf Schritte

1. Überprüfen Sie die AuswahlStellen Sie sicher, dass die ausgewählten Modelle weiterhin die besten Optionen sind, bevor Sie irgendwelche IDs kopieren./makobench/
2. Setzen Sie zwei API-Schlüssel sowie den Provider-NamenEin Schlüssel für das „Lead“-Modell, einer für das „Coder“-Modell – sowie der DeepSeek-Provider-Name, wie er in dsh aufgeführt ist. Das Skript bricht ab, falls einer dieser Werte fehlt.ANTHROPIC_API_KEY · DEEPSEEK_API_KEY · DSH_PROVIDER
3. Führen Sie das Skript ausEs schreibt die beiden Modell-IDs in eine Datei – sonst geschieht nichts.setup.sh ~/my-project
4. Weisen Sie dsh das „Coder“-Modell zuGeben Sie dsh den Provider-Namen sowie die ID des „Coder“-Modells aus der Datei an.deepseek-flash
5. Führen Sie große Aufgaben außerhalb der Hauptverkehrszeit ausAußerhalb der Hauptverkehrszeit ist DeepSeek halb so teuer – diese Zeiten sind Montag bis Freitag:01:00–04:00 · 06:00–10:00 UTC

Hier ist das Skript für die Schritte 2 und 3. Die Modell-IDs befinden sich ganz oben – ändern Sie sie dort und nirgendwo sonst.

#!/usr/bin/env bash
# Coding stack setup: harness, lead agent, coder.
# Check /makobench/ for the current leaders before changing an id.
set -euo pipefail
# Board ids. Your provider or dsh may spell the same model differently.

LEAD_MODEL="claude-fable-5-2"     # Claude Fable 5.2: plans and reviews
CODER_MODEL="deepseek-flash"      # DeepSeek V4.1-Flash-1017: writes the code

: "${ANTHROPIC_API_KEY:?set ANTHROPIC_API_KEY}"
: "${DEEPSEEK_API_KEY:?set DEEPSEEK_API_KEY}"
# The DeepSeek provider id your dsh lists. Do not guess it.
DSH_PROVIDER="${DSH_PROVIDER:?set DSH_PROVIDER}"

PROJECT="${1:?usage: setup.sh /path/to/project}"
JOB="$(mktemp -d)"

cat > "$JOB/models.yml" <<YAML
lead: ${LEAD_MODEL}
coder:
  provider: ${DSH_PROVIDER}
  model: ${CODER_MODEL}
YAML

echo "Lead:  ${LEAD_MODEL}"
echo "Coder: ${CODER_MODEL} via ${DSH_PROVIDER}"
echo "Ids written to ${JOB}/models.yml for ${PROJECT}"

Kostenübersicht

Eine Standard-Testausführung verdeutlicht auf einen Blick die Preisunterschiede. Jeder Balken zeigt die Kosten der Ausführung; daneben steht die Gesamtpunktzahl des jeweiligen Modells.

Eine Standard-Ausführung

• Claude Fable 5.2$14,87Gesamtpunktzahl: 25,2
• GPT-6 Astra$5,70Gesamtpunktzahl: 24,0
• Kimi K3.1 Pro$4,07Gesamtpunktzahl: 24,6
• Grok 4.7$3,91Gesamtpunktzahl: 24,1
• GPT-6.1 Sol$1,17Gesamtpunktzahl: 23,9
• GPT-6.1 Terra$0,63Gesamtpunktzahl: 19,4
• DeepSeek V4.1-Flash-1017$0,14Gesamtpunktzahl: 19,2

Ein komplettes Projekt kostet mehr als eine Testausführung, da der Agent den Code mehrmals liest. Diese Angaben basieren auf geschätzten Token-Preisen und stellen keine tatsächlichen Kostenrechnungen dar. Ein Projekt in der Größenordnung von ChatForge umfasst etwa 5.000 Zeilen Code; bei DisPatch sind es rund 60.000 Zeilen.

So wurden die Schätzungen erstellt: 15 Tokens pro Codezeile; der Agent liest den Code 12 Mal und schreibt ihn 3 Mal – dabei werden keine Daten zwischengespeichert. DeepSeek wird zu Nebenzeiten zu reduzierten Preisen angeboten; in Spitzenzeiten verdoppelt sich der Preis. Im empfohlenen Stack übernimmt Claude Fable 5.2 ein Fünftel der Lesevorgänge sowie ein Viertel der Schreibvorgänge.

Der empfohlene Stack kostet etwa ein Viertel der Ausgaben für Claude Fable 5.2 allein – dabei bleibt Claude weiterhin für die Planung und Überprüfung verantwortlich. DeepSeek allein ist noch günstiger, doch es gibt keine zuverlässigen Mechanismen zur Qualitätskontrolle. Wählen Sie den Stack entsprechend Ihren Anforderungen aus – insbesondere für Projekte, die in Produktion gehen sollen.