Critères de référence des modèles, cas d’utilisation et configuration : novembre 2026

Aller à : CrucibleForge sur GitHub

Quel modèle linguistique devriez-vous utiliser en novembre 2026, et comment le configurer ? Nous avons soumis onze modèles aux mêmes tests MakoBench 4.1. Ce guide vous indique le modèle idéal pour chaque tâche, présente les scores dans un seul tableau, décrit une procédure de configuration en cinq étapes pour le codage, ainsi que le coût d’un projet.

Réponse courte

Commencez par le type de tâche à effectuer. Chaque carte indique le modèle que nous recommandons ainsi que le coût d’une exécution standard sur la plateforme.

Choix selon la tâche

• Programmation, meilleurs résultatsClaude Fable 5.2Meilleure note globale, a réussi tous les tests d’évaluation14,87 $ par exécution
• Programmation avec un budget limitéDeepSeek V4.1-Flash-1017Notes parfaites aux tests de programmation standards0,14 $ par exécution
• Chat ou assistance clientGPT-6.1 TerraBonnes capacités de dialogue ; c’est le modèle le plus rapide de la liste0,63 $ par exécution
• Doit être exécuté sur votre propre matérielSwish 31B FinalMeilleur modèle local disponibleAucun frais lié à l’API
• Un seul modèle pour tout faireGrok 4.7Parmi les cinq meilleurs modèles ; bonnes capacités de dialogue, coût quatre fois inférieur à celui de Fable3,91 $ par exécution

Si vous ne retenez qu’une chose : les cinq meilleurs modèles offrent des performances similaires. Il convient donc de choisir le modèle coûteux uniquement lorsque les modèles moins chers ne suffisent pas. Dans ce guide, il s’agit notamment de la planification et de la révision du code.

Le conseil d’administration de novembre 2026

Le total correspond à la somme des scores « Travail » et « Chat ». Les tests standards attribuent jusqu’à 10 points pour chacun ; les packs de bonus débloqués par un modèle en ajoutent davantage, si bien que le total peut dépasser 20. Le pourcentage relatif aux tests d’agents indique la proportion de tâches de programmation multi-étapes qu’un modèle a réussies. Le coût d’exécution correspond au prix d’une exécution standard selon les tarifs du fournisseur. Le symbole « ~ » pour MiniMax signifie que le prix est calculé en fonction du nombre de tokens, car ce service propose un forfait fixe.

Ce que révèle le tableau :

• Les cinq premiers modèles sont à égalité. Leurs scores se situent entre 23,9 et 25,2, dans les marges d’erreur les uns des autres. L’ordre n’est donc pas un classement.
• C’est le prix qui les différencie. Une seule exécution coûte 1,17 $ pour GPT-6.1 Sol et 14,87 $ pour Claude Fable 5.2.
• Les modèles OpenAI échouent dans un cas sur trois aux tests d’agents. Cela importe pour la programmation sans surveillance humaine, mais pas pour le chat.
• DeepSeek V4.1-Flash-1017 code comme un modèle de premier plan tout en se comportant en chat comme un modèle économique. Son score « Travail » est de 11,6, tandis que son score « Chat » n’est que de 7,6. À utiliser pour le codage, pas pour converser avec des humains.
• DeepSeek V4-Pro-0813 ne vaut pas la peine d’être utilisé. Il obtient un score inférieur à celui du modèle Flash et coûte quatre fois plus cher.

Correction : initialement, Claude Fable 5.2 affichait un score de 24,2. Trois de ses tests d’agents avaient échoué car notre compte API était à court de crédits. Nous les avons relancés ; le modèle les a tous réussis, et son score total est désormais de 25,2.

Un test distinct portant sur l’écriture destinée aux adultes figure dans un onglet séparé du tableau ; il n’entre pas dans le calcul du total ni dans ces classements. Tous les scores et tests sont disponibles sur le tableau MakoBench.

Configurer la pile de codage recommandée

Pour du travail de programmation concret, il faut diviser les tâches. Un harnais gère la boucle d’exécution. Un modèle puissant planifie et revoit le code. Un modèle moins coûteux s’occupe de l’écriture du code.

La pile de travail

1. HarnaisDeepSeek Harness (dsh)Gère la boucle d’exécution et appelle les modèles
2. Modèle principalClaude Fable 5.2Planifie le travail et revoit chaque modification
3. Sous-modèlesDeepSeek V4.1-Flash-1017Écrit le code puis le soumet à révision

Pourquoi cette répartition ? Claude Fable 5.2 obtient les meilleurs scores aux tests et a réussi toutes les évaluations, mais c’est le modèle le plus cher de la liste. DeepSeek V4.1-Flash-1017, lui, obtient des résultats parfaits aux tests standards pour un coût cent fois inférieur. Laissez donc le modèle principal consommer des tokens pour la réflexion, et le modèle de codage en utiliser davantage pour produire du code. Si vous préférez n’utiliser qu’un seul modèle pour tout, optez plutôt pour Grok 4.7.

La configuration nécessite cinq étapes.

Cinq étapes

1. Vérifier le classementAssurez-vous que les modèles choisis restent en tête avant de copier leurs identifiants./makobench/
2. Définir deux clés API et le nom du fournisseurUne clé pour le modèle principal, une autre pour le modèle de codage, ainsi que le nom du fournisseur DeepSeek indiqué par dsh. Le script s’arrête si l’une de ces trois informations manque.ANTHROPIC_API_KEY · DEEPSEEK_API_KEY · DSH_PROVIDER
3. Exécuter le scriptIl écrit les identifiants des modèles dans un fichier, sans lancer quoi que ce soit d’autre.setup.sh ~/my-project
4. Indiquer au harnais le modèle de codageDonnez à dsh le nom du fournisseur ainsi que l’identifiant du modèle de codage provenant du fichier.deepseek-flash
5. Exécuter les gros travaux en dehors des heures de pointeLes tarifs DeepSeek sont réduits en dehors des heures de pointe, soit du lundi au vendredi :01:00–04:00 · 06:00–10:00 UTC

Voici le script correspondant aux étapes 2 et 3. Les identifiants des modèles se trouvent en haut du fichier ; modifiez-les uniquement à cet endroit.

#!/usr/bin/env bash
# Coding stack setup: harness, lead agent, coder.
# Check /makobench/ for the current leaders before changing an id.
set -euo pipefail
# Board ids. Your provider or dsh may spell the same model differently.

LEAD_MODEL="claude-fable-5-2"     # Claude Fable 5.2: plans and reviews
CODER_MODEL="deepseek-flash"      # DeepSeek V4.1-Flash-1017: writes the code

: "${ANTHROPIC_API_KEY:?set ANTHROPIC_API_KEY}"
: "${DEEPSEEK_API_KEY:?set DEEPSEEK_API_KEY}"
# The DeepSeek provider id your dsh lists. Do not guess it.
DSH_PROVIDER="${DSH_PROVIDER:?set DSH_PROVIDER}"

PROJECT="${1:?usage: setup.sh /path/to/project}"
JOB="$(mktemp -d)"

cat > "$JOB/models.yml" <<YAML
lead: ${LEAD_MODEL}
coder:
  provider: ${DSH_PROVIDER}
  model: ${CODER_MODEL}
YAML

echo "Lead:  ${LEAD_MODEL}"
echo "Coder: ${CODER_MODEL} via ${DSH_PROVIDER}"
echo "Ids written to ${JOB}/models.yml for ${PROJECT}"

Prix et coûts

Une exécution de test standard permet de visualiser facilement l’écart de prix. Chaque barre représente le coût d’exécution, avec le score total du modèle indiqué à côté.

Une exécution standard

• Claude Fable 5.214,87 $Score total : 25,2
• GPT-6 Astra5,70 $Score total : 24,0
• Kimi K3.1 Pro4,07 $Score total : 24,6
• Grok 4.73,91 $Score total : 24,1
• GPT-6.1 Sol1,17 $Score total : 23,9
• GPT-6.1 Terra0,63 $Score total : 19,4
• DeepSeek V4.1-Flash-10170,14 $Score total : 19,2

Le coût d’un projet entier est supérieur à celui d’une simple exécution de test, car l’agent doit lire son propre code de nombreuses fois. Ces chiffres sont des estimations basées sur les prix des tokens ; il ne s’agit pas de factures issues d’une compilation réelle. Un projet de taille comparable à ChatForge compte environ 5 000 lignes de code ; celui de DisPatch en comporte environ 60 000.

Méthode d’estimation : 15 tokens par ligne de code ; l’agent lit le code 12 fois et l’écrit 3 fois, sans aucune mise en cache. Les prix indiqués pour DeepSeek correspondent à des périodes hors pointe ; en période de pointe, ses coûts doublent. Dans la configuration recommandée, Claude Fable 5.2 effectue un cinquième des opérations de lecture et un quart des opérations d’écriture.

La configuration recommandée coûte environ un quart du prix de Claude Fable 5.2 seul, tout en laissant ce dernier gérer la planification et la révision du code. DeepSeek seul est encore moins cher, mais aucun modèle puissant ne vérifie son travail. Choisissez cette configuration pour tout projet que vous comptez publier.