モデルのベンチマーク、ユースケース、およびセットアップ：2026年11月

かんたんに言うと: これは2026年11月向けの簡易ガイドです。私たちはMakoBench 4.1上で11種類の言語モデルをテストしました。上位5つは同点でした。コーディングにおいては、Claude Fable 5.2が最も優れており、DeepSeek V4.1-Flash-1017が最も低コストです。チャット用途としては、GPT-6.1 Terraが安価で性能も良いと言えます。自分のコンピューター上で利用する場合には、Swish 31B Finalが最適です。このガイドでは、5つの手順によるセットアップ方法を紹介しています。まずハーネスが作業を実行し、Claude Fable 5.2が計画を立ててそれを確認し、DeepSeekがコードを記述します。この方法により、5,000行のプロジェクトでは約4.82ドル、60,000行のプロジェクトでも約57.86ドルの費用で済みます。

GitHub で CrucibleForge を開く

2026年11月時点でどの言語モデルを利用すべきか、またその設定方法は？　私たちは11種類のモデルに対して同じMakoBench 4.1テストを実施しました。本ガイドでは、各用途に最適なモデルや各モデルのスコアを一つの表で示すとともに、コーディング用の5ステップ設定手順やプロジェクトにかかる費用についても解説します。

簡単な答え

まずはご自身の業務内容から考えてみてください。各カードには、私たちが選定したモデル名と、そのボード上での標準的なテスト実行にかかる費用が記載されています。

業務内容別の選択肢

コーディング、最高の結果を求める場合Claude Fable 5.2Workスコアが最も高く、すべてのエージェントテストに合格しています1回の実行につき14.87ドル
予算を抑えながらコーディングする場合DeepSeek V4.1-Flash-1017標準的なコーディングテストで満点を獲得しています1回の実行につき0.14ドル
チャットやサポート対応が必要な場合GPT-6.1 Terra会話能力に優れ、このセットの中で最も処理速度が速いモデルです1回の実行につき0.63ドル
自社のハードウェア上で実行する必要がある場合Swish 31B Finalこのボード上で最も優れたローカルモデルですAPI利用料はかかりません
あらゆる用途に使える1つのモデルを求める場合Grok 4.7トップ5に入る性能を持ち、会話能力も優秀。Fableの価格の4分の1程度です1回の実行につき3.91ドル

ご自身の業務内容を確認し、該当するモデルとその費用をご覧ください。

覚えておくべき重要な点としては、トップ5のモデル同士は性能面でほぼ同等であるということです。したがって、安価なモデルでは対応できない用途、例えばこのガイドで挙げている計画立案やコードレビューなどにおいてのみ、高価なモデルを利用するのが良いでしょう。

2026年11月時点の評価結果

モデル	合計スコア	作業能力	チャット能力	エージェントテストの達成率	実行コスト
Claude Fable 5.2	25.2	12.5	12.7	100%	$14.87
Kimi K3.1 Pro	24.6	12.0	12.6	100%	$4.07
Grok 4.7	24.1	11.7	12.4	100%	$3.91
GPT-6 Astra	24.0	11.5	12.6	66.7%	$5.70
GPT-6.1 Sol	23.9	11.5	12.4	66.7%	$1.17
GPT-6.1 Terra	19.4	10.2	9.2	66.7%	$0.63
DeepSeek V4.1-Flash-1017	19.2	11.6	7.6	100%	$0.14
DeepSeek V4-Pro-0813	18.4	10.7	7.7	100%	$0.57
Swish 31B Final（ローカル版）	16.3	8.4	8.0	33.3%	ローカル環境での実行
Grok Build 0.1	15.2	7.6	7.6	100%	$1.04
MiniMax M3.1 Flash	13.6	8.0	5.6	100%	約$0.28

合計スコアは「作業能力」と「チャット能力」の合計値です。標準テストでは各項目最大10点が与えられ、さらにボーナスパックを利用するとそれ以上の得点も可能なため、合計スコアは20点を超えることもあります。エージェントテストの達成率とは、モデルが多段階からなるプログラミング課題をどの程度完了できたかを示す割合です。実行コストとは、各プロバイダーの料金体系に基づく1回分の実行費用を指します。MiniMaxの場合は定額プランを採用しているため、トークン数に応じて価格が変動します。

表から読み取れる内容は以下の通りです：

上位5モデルは互角の実力です。 それぞれ23.9点から25.2点の範囲に位置しており、誤差範囲内での順位付けは行っていません。
価格が各モデルの差別化要因となります。 GPT-6.1 Solの1回実行コストは$1.17ですが、Claude Fable 5.2では$14.87にもなります。
OpenAI製モデルは3つのエージェント課題のうち1つを未達成です。 これは無人でのプログラミング作業において重要な要素となりますが、単なるチャット用途には影響しません。
DeepSeek V4.1-Flash-1017は優れたコーディング能力を持ちながら、チャット能力は低水準です。 作業能力は11.6点、チャット能力は7.6点となっており、人との会話用よりもコーディング用に利用するのが適切です。
DeepSeek V4-Pro-0813はあまりお勧めできません。 Flash版よりもスコアが低く、コストは4倍もかかります。

訂正事項：当初Claude Fable 5.2の合計スコアは24.2点と表示されていました。しかしAPIアカウントのクレジット残高不足により、3つのエージェントテストが失敗していました。再実行した結果すべてをクリアし、現在の合計スコアは25.2点となっています。

なお、別途実施された成人向け文章作成テストの結果は別タブに掲載されており、今回の合計スコアや選定基準には含まれていません。すべてのスコアおよびテスト内容についてはMakoBench評価表をご覧ください。

推奨されるコーディングスタックの設定方法

実際のコーディング作業では、タスクを分割して進めます。ハーネスがループ処理を実行し、優れた性能を持つモデルが計画立案やレビューを行い、比較的安価なモデルが実際にコードを記述します。

スタックの構成

ハーネスDeepSeek Harness (dsh)ループ処理を実行し、各モデルを呼び出します
リードモデルClaude Fable 5.2作業計画を立て、すべての変更内容をレビューします
サブエージェントDeepSeek V4.1-Flash-1017コードを記述し、レビュー用に提出します

高性能なモデルが思考を行い、安価なモデルが実際のコーディングを担当します。

このような分担にした理由ですが、Claude Fable 5.2は作業能力評価で最高得点を獲得し、あらゆるテストもクリアしています。ただし最も高価なモデルでもあります。一方、DeepSeek V4.1-Flash-1017は標準的なコーディングテストでも満点を獲得しており、そのコストはClaude Fable 5.2の約100分の1です。リードモデルには判断作業にトークンを使わせ、コーダーには大量のコード記述にトークンを活用させるのが良いでしょう。もしすべての処理を単一のモデルで行いたい場合は、Grok 4.7をご利用ください。

設定手順は5段階あります。

5つの手順

モデル選定状況の確認どのモデルが最適かを確認した上で、IDをコピーしてください。/makobench/
APIキーおよびプロバイダー名の設定リードモデル用とコーダー用の2種類のAPIキー、そしてdshで指定されるDeepSeekのプロバイダー名が必要です。いずれかが欠落している場合、スクリプトは停止します。ANTHROPIC_API_KEY · DEEPSEEK_API_KEY · DSH_PROVIDER
スクリプトの実行2つのモデルIDがファイルに記録されますが、それ以外は何も起こりません。setup.sh ~/my-project
dshにコーダーの情報を指定するファイル内のプロバイダー名およびコーダーのIDをdshに設定します。deepseek-flash
ピーク時以外に大規模な作業を行うDeepSeekの料金は、月曜日から金曜日のピーク時間帯以外では半額になります。01:00–04:00 · 06:00–10:00 UTC

手順1～4は数分で完了します。手順5は習慣として行うことが望ましいです。

上記の手順2および3用のスクリプトを以下に示します。モデルIDは冒頭部分に記載されていますので、そこだけを変更してください。

#!/usr/bin/env bash
# Coding stack setup: harness, lead agent, coder.
# Check /makobench/ for the current leaders before changing an id.
set -euo pipefail
# Board ids. Your provider or dsh may spell the same model differently.

LEAD_MODEL="claude-fable-5-2"     # Claude Fable 5.2: plans and reviews
CODER_MODEL="deepseek-flash"      # DeepSeek V4.1-Flash-1017: writes the code

: "${ANTHROPIC_API_KEY:?set ANTHROPIC_API_KEY}"
: "${DEEPSEEK_API_KEY:?set DEEPSEEK_API_KEY}"
# The DeepSeek provider id your dsh lists. Do not guess it.
DSH_PROVIDER="${DSH_PROVIDER:?set DSH_PROVIDER}"

PROJECT="${1:?usage: setup.sh /path/to/project}"
JOB="$(mktemp -d)"

cat > "$JOB/models.yml" <<YAML
lead: ${LEAD_MODEL}
coder:
  provider: ${DSH_PROVIDER}
  model: ${CODER_MODEL}
YAML

echo "Lead:  ${LEAD_MODEL}"
echo "Coder: ${CODER_MODEL} via ${DSH_PROVIDER}"
echo "Ids written to ${JOB}/models.yml for ${PROJECT}"

費用について

標準的なテスト実行の結果を見れば、各モデル間の価格差が一目でわかります。各棒グラフがその実行にかかる費用を示しており、その横にはモデルの総合スコアも記載されています。

標準的な実行例

Claude Fable 5.214.87ドル総合スコア 25.2
GPT-6 Astra5.70ドル総合スコア 24.0
Kimi K3.1 Pro4.07ドル総合スコア 24.6
Grok 4.73.91ドル総合スコア 24.1
GPT-6.1 Sol1.17ドル総合スコア 23.9
GPT-6.1 Terra0.63ドル総合スコア 19.4
DeepSeek V4.1-Flash-10170.14ドル総合スコア 19.2

上位5モデルの総合スコアは互いに1.3ポイント以内の差しかありません。しかしその費用は10倍以上も異なっています。

実際のプロジェクト全体の費用は、単なるテスト実行よりも高くなります。なぜならエージェントが自身のコードを何度も読み込むからです。ここに記載している金額はトークン単価に基づいた見積もりであり、実際のビルドで請求される金額ではありません。ChatForge規模のプロジェクトであれば約5,000行、DisPatch規模の場合は約60,000行ほどになります。

設定内容	5,000行の場合	60,000行の場合
Claude Fable 5.2のみ使用する場合	20.25ドル	243ドル
推奨構成：FableプランとDeepSeekを併用する場合	4.82ドル	57.86ドル
Grok 4.7のみ使用する場合	3.15ドル	37.80ドル
GPT-6.1 Terraのみ使用する場合	2.03ドル	24.30ドル
DeepSeek V4.1-Flash-1017のみ使用する場合	0.27ドル	3.24ドル

見積もりの根拠は次の通りです。コード1行あたり15トークンとし、エージェントがコードを12回読み込み、3回書き出すと仮定しています。またキャッシュ処理は一切行われないものとして計算しています。DeepSeekの料金はオフピーク時の値段であり、ピーク時にはその2倍になります。推奨構成ではClaude Fable 5.2が全体の読み込み作業の5分の1、書き出し作業の4分の1を担当します。

この推奨構成を利用すれば、Claude Fable 5.2のみ使用する場合の約4分の1の費用で済み、かつ計画立案やレビューも同モデルが担ってくれます。DeepSeek単体でもさらに安価ですが、その成果物を確認する強力な仕組みは存在しません。実際にリリースするプロジェクトにはこの推奨構成をお選びいただくのが良いでしょう。