モデルのベンチマーク、ユースケース、およびセットアップ:2026年11月

公開日
2026年11月11日
更新日
2026年11月11日
著者
Jacob Lloyd — プロジェクト完了後、AIの支援を受けて執筆
読了時間
約26分で読めます

かんたんに言うと: これは2026年11月向けのガイドです。私たちはMakoBench 4.1上で11種類の言語モデルをテストしました。どのモデルが優れているか、各モデルが何に適しているか、コーディング環境のセットアップ方法、そして利用にかかる費用などが記載されています。上位5つのモデルは同点となっています。Claude Fable 5.2を使用した場合、1回の標準的な実行で14.87ドルの費用がかかります。一方、DeepSeek V4.1-Flash-1017では0.14ドルのみです。推奨される設定を用いれば、5,000行程度のプロジェクトには約4.82ドル、60,000行のプロジェクトには約57.86ドルの費用がかかります。現在、Claude Fable 5.2のスコアは25.2となっています。当初、APIのクレジットが尽きてしまったため3つのエージェントテストでスコアが0となりましたが、再度実行したところ全てのテストに合格しました。

GitHub で CrucibleForge を開く

2026年11月時点で、どの言語モデルをどのような用途に利用すべきか、またその設定方法は?本ガイドでは、MakoBench 4.1において同一テストで評価された11種類のモデルについて詳しく解説します。全モデルのランキングも掲載されていますが、今月はこの11モデルを深く比較しました。各モデルのスコア、コーディングやチャットに最適な選択肢、リード担当者とプログラマーが連携するための5段階の設定手順、さらには1回の実行費用やプロジェクト全体にかかるコストもご紹介します。

一画面で確認できる情報

  • 総合的に最良:トップには5モデルが並び、いずれも同点です。Kimi K3.1 Pro、Claude Fable 5.2、Grok 4.7、GPT-6 Astra、GPT-6.1 Solのスコアは23.9から25.2の範囲に収まっています。Claude Fable 5.2が最初に記載されていますが、統計的には5モデル全てが同レベルです。
  • エージェント型コーディングに最適:予算に制限がない場合はClaude Fable 5.2が最適です。作業スコアは最高の12.5、エージェント機能も完璧で、標準的なエージェントテストでも100%の成績を収めています。予算を抑えたい場合はGPT-6 AstraまたはGPT-6.1 Solが良いでしょう。両モデルともエージェント機能は完璧ですが、標準的なエージェントテストでは66.7%の成績です。
  • 低コストなコーダーとして最適:DeepSeek V4.1-Flash-1017です。通常のコーディング能力は10.0で、1回の実行費用はわずか0.14ドルです。
  • チャットやヘルプラインに最適:API利用ならGPT-6.1 Terra(チャットスコア9.2、1回あたり0.63ドル)が良いでしょう。自身のハードウェア上で運用する場合はSwish 31B Finalがおすすめです。最も高いチャットスコアを記録しているのはClaude Fable 5.2で12.7、ただし1回あたりの費用は14.87ドルになります。
  • 自前のハードウェア上で利用する場合に最適:Swish 31B Finalです。総合スコアは16.3で、API料金も発生せず、チャットやその他のローカル処理にも適しています。
  • 推奨される構成:Claude Fable 5.2で計画立案やレビューを行い、DeepSeek V4.1-Flash-1017で実際のコードを作成します。ChatForge規模のプロジェクトでは約4.82ドル、DisPatch規模のプロジェクトでは約57.86ドルの費用が見込まれます。
  • 補足情報:Claude Fable 5.2による3つのエージェントテストの初期スコアは0でした。これは実行中にAPIアカウントのクレジットが尽きてしまったためです。再実行したところ全テストをパスし、スコアも24.2から25.2へと上昇しました。

二つの質問でモデルを選ぶ

まずは作業内容を決め、次に一つ質問をします。コード関連の作業の場合は予算について尋ねます。予算が豊富な場合はClaude Fable 5.2が適しており、予算が限られている場合はDeepSeek V4.1-Flash-1017が適しています。こちらは実行ごとに0.14ドルの費用がかかります。チャット用途の場合は、自身のハードウェア上で実行する必要があるかどうかを尋ねます。APIを利用する場合はGPT-6.1 Terraが適しており、実行ごとに0.63ドルの費用がかかります。自身のハードウェア上で実行する場合はSwish 31B Finalが適しています。これらの選択肢は、本ガイドの他の部分でも数値をもとに推奨されているものと同じです。

作業内容は何ですか?
コード関連
予算はどの程度ですか?
予算が豊富
Claude Fable 5.2最も費用が高い
予算が限られている
DeepSeekV4.1-Flash-1017
チャット用途
自身のハードウェア上で実行しますか?
いいえ
GPT-6.1 Terra低コストなチャット用モデル
はい
Swish 31B FinalAPI利用料がかからない
作業内容を決めた後、二つの質問に答えることで適切なモデルが選べます。

2026年11月時点の評価結果

モデル 合計スコア ワーク部門 チャット部門 アダルト関連 コード生成/エージェント機能 実行コスト 満点獲得パック数
Claude Fable 5.225.212.512.712.0100 / 100$14.87推論能力 #1、エージェント機能 #1、アダルト小説作成 #2
Kimi K3.1 Pro24.612.012.65.0100 / 100$4.07なし
Grok 4.724.111.712.411.5100 / 100$3.91推論能力 #1、アダルト小説作成 #2
GPT-6 Astra24.011.512.61.393.8 / 66.7$5.70エージェント機能 #1
GPT-6.1 Sol23.911.512.41.5100 / 66.7$1.17エージェント機能 #1
GPT-6.1 Terra19.410.29.21.6100 / 66.7$0.63なし
DeepSeek V4.1-Flash-101719.211.67.610.0100 / 100$0.14なし
DeepSeek V4-Pro-081318.410.77.78.393.8 / 100$0.57なし
Swish 31B Final(国内最強モデル)16.38.48.011.862.5 / 33.3自社サーバー利用なし
Grok Build 0.115.27.67.611.768.8 / 100$1.04なし
MiniMax M3.1 Flash13.68.05.67.562.5 / 100約$0.28なし

訂正事項:当初の案内ではClaude Fable 5.2のスコアを24.2と記載し、暫定値としていました。実際にはエージェント機能に関する3つのテストで0点となりましたが、これはモデル自体の不備ではなく、テスト中に当方のAPIアカウントのクレジットが尽きてしまったためです。その後、Anthropic社のAPIを利用しプロンプトキャッシュ機能付きで再テストを行ったところ、費用は$10.81でした。その結果、すべてのテストに合格し、ワーク部門のスコアが11.5から12.5へ、合計スコアも24.2から25.2へと上昇いたしました。

合計スコアは「ワーク部門」と「チャット部門」の合計値です。ワーク部門の数値にはモデルが獲得したボーナスパック分も含まれており、20点満点制ではございません。通常のテストではワーク部門・チャット部門ともに10点までしかカウントされないため、標準的な合計値の上限は20点となりますが、今回公表されている数値は最大で28点にも達しております。アダルト関連テストは別途実施されており、合計スコアには含まれません。この数値が高いほど、成人向け小説の作成能力が優れていることを意味しますが、モデルの総合的な性能が高いというわけではございません。「コード生成/エージェント機能」はコーディングテストにおけるそれぞれの得点を示すもので、プログラム自体の評価値ではありません。実行コストは、パックやアダルトテスト、再試行分を除いた標準的なコード生成・チャット処理にかかる費用です。「自社サーバー利用」と記載されている場合は、API利用料が発生しないことを意味します。満点獲得パック数とは、1.000という完璧なスコアを記録したパックの数です。今回評価対象となったパックの中で未評価のものは存在しません。テスト途中で失敗またはエラーが発生した場合も失敗としてカウントされ、順位に反映されます。具体的には、DeepSeek V4-Pro-0813は11点、DeepSeek V4.1-Flash-1017は5点、MiniMax M3.1 Flashは7点に加え予算上の制限もあります。またKimi K3.1 Proは2点、Claude Fable 5.2は1点、Grok 4.7は1行でエラーが発生しております。

ボーナスパックWorkおよびChatにも追加可能です
Workコード関連の項目です
Chatチャット関連のテスト項目です
合計値WorkとChatの合計です
合計値には含まれません
アダルトテスト別途スコアが算出されます
合計値とはWorkとChatの合計です。アダルトテストはこの合計値には含まれません。

ランキング表の最上位は順位付けではなく、同点状態を示しています。Claude Fable 5.2、Kimi K3.1 Pro、Grok 4.7、GPT-6 Astra、GPT-6.1 Solといったモデルは23.9から25.2の範囲に位置しています。表上ではこれらが1位から5位として記載されており、Claude Fable 5.2が最も高い位置にありますが、その差は許容誤差範囲内であり、統計的に同点と見なされるモデル群です。表の順序が必ずしも優劣を表しているわけではありません。次のグループにはGPT-6.1 Terra、DeepSeek V4.1-Flash-1017、DeepSeek V4-Pro-0813が含まれ、それぞれ18.4から19.4の範囲に位置しています。ローカルモデルの中で最も成績が良いSwish 31B Finalは16.3です。標準的なコーディングテストにおいては、Kimi K3.1 Pro、Claude Fable 5.2、Grok 4.7、DeepSeek V4.1-Flash-1017といったモデルは既に上限値10.0に達しており、24~25点台のグループはボーナスパックやChat関連の結果であり、より高いコーディングスコアを示しているわけではありません。このグループとDeepSeek V4.1-Flash-1017との差はChat部分にあり、後者は7.6であるのに対し前者は12.4から12.7となっています。

特筆すべき点が三つあります。まずコスト面では、同じタスクにおいて2桁もの差が生じています。Claude Fable 5.2の場合、1回の標準的な実行に14.87ドルかかりますが、GPT-6 Astraは5.70ドル、Grok 4.7は3.91ドル、DeepSeek V4.1-Flash-1017ではわずか0.14ドルで済みます。一方アダルトテストにおいては逆の傾向が見られます。Claude Fable 5.2(12.0)、Swish 31B Final(11.8)、Grok Build 0.1(11.7)、Grok 4.7(11.5)、DeepSeek V4.1-Flash-1017(10.0)は、全9件のアダルト関連ケースに対して拒否を行いませんでした。OpenAI製の3モデルはアダルト小説に関して1.3から1.6程度で拒否しており、Kimi K3.1 Proは9件中4件を拒否し、アダルト文章生成では0点となっています。これらはプロバイダー側のフィルターによるものではなく、モデル自体が拒否している状態です。実際、今回のテストデータにおいてコンテンツフィルターによってブロックされた応答は一切ありませんでした。三つ目として、エージェント関連のタスクにおいてはコーディング能力に差が生じており、処理速度にも大きな幅があります。OpenAI製の3モデルはエージェントタスクで66.7%の成績ですが、Kimi K3.1 Pro、Claude Fable 5.2、Grok 4.7、DeepSeek V4.1-Flash-1017は100%を達成しています。最も処理速度が速いのはGPT-6.1 Terraです。Grok Build 0.1の処理速度は1秒あたり8.4トークンであり、同じ表上で記録されたSwish 31B Finalの41.3トークン/秒よりも遅くなっています。

利用例:どのモデルをどの業務に使うか

新規ソフトウェアのエージェント型コーディング

  • 予算に制限がない場合:Claude Fable 5.2 長所:このセット内で最も高いチャットスコア(12.7)、最高のWorkスコア(12.5)。総合スコアでもトップグループに名を連ね、エージェント機能も完璧。標準的なコーディング評価も100%で、拒否反応もありません。短所:1回の実行料金が14.87ドルと、ここにあるモデルの中で最も高価です。
  • 低予算でも完璧なエージェント機能を求める場合:GPT-6 AstraまたはGPT-6.1 Sol 長所:Claude Fable 5.2と同様にエージェント機能が完璧で、実行料金もそれぞれ5.70ドルおよび1.17ドルと手頃です。短所:標準的なエージェントテストのスコアは66.7%に留まり、成人向けフィクションの処理で処理が中断される傾向があります。
  • 中間的な選択肢:Grok 4.7 長所:Workスコアは11.7で、Claude Fable 5.2の12.5やKimi K3.1 Proの12.0に次ぐ第3位。チャットスコアも12.4と高く、実行料金は3.91ドルで、Claude Fable 5.2の14.87ドルの約4分の1です。短所:入力トークン1百万個あたり2ドル、出力トークン1百万個あたり6ドルの課金体系となっており、速度テスト時には696,485個もの推論用トークンが消費されたため、長時間のエージェント処理はコストがかさみます。
  • 極めて低予算で済ませたい場合:DeepSeek V4.1-Flash-1017 長所:標準的なコーディング評価は10.0という最高値を記録し、Workスコアも11.6とトップグループに匹敵。実行料金はわずか0.14ドルです。短所:チャットスコアは7.6と低く、ユーザー向け対話機能を求める場合は別のモデルが必要です。0.14ドルという金額は旧料金体系に基づくもので、新たなジョブでは公表されている最新料金が適用されます。

チャットボットやカスタマーサービスライン向け

ヘルプラインにおいては成人向けコンテンツ処理能力は必須ではありません。チャット性能、価格、そして自社のハードウェア上で運用する必要があるかどうかを基準に選定してください。

  • GPT-6.1 Terra 長所:チャットスコアは9.2で、実行料金は0.63ドル。入力トークン1百万個あたり1ドル、出力トークン1百万個あたり5ドルの課金体系です。低コストかつ高いチャット性能を備えたモデルであり、このセット内で最も高速に動作します。短所:エージェントテストのスコアは66.7%に留まります。プログラムおよびコードバンクの評価は100%であるため、単純なコーディングミスではなくエージェント機能の不足が原因です。処理速度もサンプルによって大きく変動し、1秒あたり72から1,044トークンまで幅があります。
  • Grok 4.7 長所:チャットスコアは12.4でこのセット内でも上位クラス。実行料金は3.91ドルです。2種類のロールプレイ用パックのスコアもそれぞれ0.945および0.951と高水準です。短所:会話用パックは0.814、キャラクター用パックは0.483と低く、個性を維持する必要がある対話には不向きです。課金単価は入力・出力ともに1百万トークンあたり2ドルおよび6ドルとなっており、15倍のプランも存在しますが、記載されている3.91ドルはそのプラン適用前の料金です。
  • Claude Fable 5.2 長所:このセット内で最高のチャットスコア(12.7)を誇り、単体チャットパックも0.964と最優秀。拒否反応がなく、本システム上では推論用トークンの課金も発生しません。短所:入力・出力ともに1百万トークンあたり10ドルおよび50ドルの料金体系で、GPT-6 Astraと並んで最も高額なトークン単価となっています。
  • 自社ハードウェア上での運用が必須の場合:Swish 31B Final 長所:総合スコアは16.3で、拒否反応もなくAPI料金も発生しません。短所:エージェントテストのスコアは33.3%、Workスコアは8.4と低く、処理速度も1秒あたり41.3トークンに留まります。

セットアップ:ハーネス、リードエージェント、コーダー

実際の作業には、ハーネス、計画立案とレビューを行う優秀なモデル、そしてコードを記述するための安価なモデルをご利用ください。DeepSeek Harness(dsh)がそのハーネスにあたります。Claude Fable 5.2は計画立案およびレビューを行うモデルです。DeepSeek V4.1-Flash-1017はコーダーとして機能しますが、通常のコーディング能力はすでに限界に達しており、実行費用は0.14ドル程度です。MiniMax M3.1 Flashは、そのトークン枠内で大量の処理をこなせ、出力結果に対してClaude Fable 5.2によるレビューも可能です。ただし、Chatスコアが5.6とこのセットの中では最も低く、Workスコアも8.0に留まるため、より多くのレビューループが必要となります。Grok 4.7は、すべての作業を一つのモデルで行いたい場合の代替選択肢です。手順は全部で5段階あります。

dshループを実行します
リード:Claude Fable 5.2計画立案およびレビューを行います
コーダーDeepSeek V4.1-Flash-1017コードを記述します
その他の選択肢
MiniMax M3.1 Flash指定された枠内で大量処理が可能です
Grok 4.7あらゆる作業を一つのモデルで行えます
ハーネスが計画立案を行うリードエージェントとコードを記述するコーダーを制御します。

手順1:ボードを確認し、IDを選びます

/makobench/ボードを確認してください
4つのIDスクリプトの先頭部分にあります
LEAD_MODEL
CODER_MODEL
BULK_MODEL
ONE_MODEL
まずボードの内容を確認し、その後で4つのIDのみを変更してください。

モデル用のIDはスクリプトの先頭部分に記載されています。下の方にある別のコピー部分ではなく、ここを変更する必要があります。変更を行う前に、/makobench/にあるボードをご確認ください。

ステップ2:APIキーを設定する

ANTHROPIC_API_KEY必須
DEEPSEEK_API_KEY必須
MINIMAX_API_KEY必須
XAI_API_KEY任意
まずは各キーを設定してください。必須のキーが欠落している場合、スクリプトは停止します。

このスクリプトではANTHROPIC_API_KEY、DEEPSEEK_API_KEY、MINIMAX_API_KEYが必要です。XAI_API_KEYは任意の項目であり、単一モデルを利用する場合にのみ必要となります。実行前にシェル上でこれらのキーを設定してください。必須のキーが欠落しているとスクリプトは停止してしまいます。

ステップ3:スクリプトを実行する

setup.shそしてプロジェクトのパスを指定します
models.yml一時ディレクトリに書き込まれます
実行は開始されませんIDのみが書き込まれるだけです
このスクリプトはファイルを1つ作成した後で終了します。

このスクリプトは、IDを一時ディレクトリ内の models.yml ファイルに書き込みます。実行自体は開始されません。ご自身のプロジェクトのパスを指定してください。

#!/usr/bin/env bash
# Do-it-all coding setup: harness, lead agent, sub-agents.
# Check /makobench/ for the current leaders before changing any id below.
set -euo pipefail

# Board labels. dsh may show a different provider string for the same model.
LEAD_MODEL="claude-fable-5-2"        # Claude Fable 5.2, plans and reviews
CODER_MODEL="deepseek-flash"         # DeepSeek V4.1-Flash-1017, writes the code
BULK_MODEL="MiniMax-M3.1-Flash"      # MiniMax M3.1 Flash, window-limited bulk
ONE_MODEL="grok-4.7"                 # Grok 4.7, optional, one model for all

: "${ANTHROPIC_API_KEY:?set ANTHROPIC_API_KEY}"
: "${DEEPSEEK_API_KEY:?set DEEPSEEK_API_KEY}"
: "${MINIMAX_API_KEY:?set MINIMAX_API_KEY}"
: "${XAI_API_KEY:=}"                  # optional, only for ONE_MODEL

# Set this to the DeepSeek provider id your dsh lists. Do not guess it.
DSH_PROVIDER="${DSH_PROVIDER:?set DSH_PROVIDER}"

PROJECT="${1:?usage: setup.sh /path/to/project}"
JOB="$(mktemp -d)"

cat > "$JOB/models.yml" <<YAML
lead: ${LEAD_MODEL}
coder:
  provider: ${DSH_PROVIDER}
  model: ${CODER_MODEL}
bulk: ${BULK_MODEL}
one_model: ${ONE_MODEL}
YAML

echo "Lead: ${LEAD_MODEL}"
echo "Coder: ${CODER_MODEL} via ${DSH_PROVIDER}"
echo "Bulk, inside the plan window: ${BULK_MODEL}"
echo "One-model alternative: ${ONE_MODEL}"
echo "Id file: ${JOB}/models.yml"
echo "Project: ${PROJECT}"
# Point dsh at CODER_MODEL. Do not hardcode a second model id here.

手順4:dshをコーダーの方角に向ける

dshご利用中のハーネスです
DSH_PROVIDERdshで指定可能なプロバイダー名です
deepseek-flashコーダーのIDです
dshにはプロバイダー名とコーダーのIDが必要です。

dshをコーダーのIDの方角に向けて設定してください。dsh用のプロバイダー名は、ご自身の環境でDeepSeek用として設定されている名称となります。このボードにおけるコーダーのAPI IDは「deepseek-flash」です。

ステップ5:利用制限を踏まえたスケジュール設定

DeepSeekの利用ピーク時間帯(UTC)
00:0012:0024:00
月曜日から金曜日
01:00~04:00
06:00~10:00
オフピーク時間帯料金は半額となります
大量のコーディング作業は、ピーク時間帯以外に行うようにしてください。

DeepSeekの利用料金はオフピーク時間帯であれば半額になります。ピーク時間帯は月曜日から金曜日の01:00~04:00および06:00~10:00(UTC)です。大量のコーディング作業はこの時間帯以外にスケジュールすることをお勧めします。

MiniMaxプラン5時間分または週次分の利用制限あり
402利用可能な時間枠が使い切られたことを示します
利用モデルを切り替えるDeepSeek V4.1-Flash-1017
「402」というコードはプランが終了したことを意味するのではなく、利用可能な時間枠が使い切られたことを示します。

MiniMaxプランは固定料金制となっております。5時間分または週次分の利用枠が使い切られるまではAPI利用料は発生しません。「402」というコードは、利用可能な時間枠が使い切られたことを意味するだけで、プラン自体が終了したわけではありません。残りのビルド作業にはDeepSeek V4.1-Flash-1017へとモデルを切り替える必要があります。6万行規模のビルドであれば5時間分の利用枠が使い切られるため、このプランは無制限に利用できるわけではない点にご留意ください。

プロジェクトにかかる費用について

ここに記載している金額は、実際のプロジェクトでの計測値ではなく、料金表に基づいた見積もりです。この規模のプロジェクトにおけるトークン使用量の記録は存在しません。前提条件として、完成したソースコードの場合1行あたり15トークンが必要となります。例えば、ChatForge程度の規模で5,000行のプロジェクトであれば75,000トークン、DisPatch程度の規模で60,000行のプロジェクトであれば900,000トークンとなります。エージェントは自身のソースコードを再読み込みするため、ミッドバンドでは入力が12回分、出力が3回分のトークンが必要です。また、思考型コーダーを使用する場合はハイバンドとして入力20回分、出力5回分のトークンが求められます。新規プロジェクトの場合はキャッシュミスとなるため、追加コストが発生します。DeepSeekの料金はオフピーク時の実際の定価に基づいています。これは1回のビルド分の費用であり、メンテナンス費用や判定処理、画像生成の費用は含まれておりません。

コード行数5,000行または60,000行
ソーストークン数1行あたり15トークン
エージェントによるソース再読み込みミッドバンド:入力12回分、出力3回分ハイバンド:入力20回分、出力5回分
100万トークンあたりの料金料金表に基づく見積もり
プロジェクト全体の費用1回のビルド分の見積もりです
コード行数がトークン数に変換され、そのトークン数に料金表を乗じることで費用が算出されます。
設定内容 ChatForge規模・ミッドバンド DisPatch規模・ミッドバンド
Claude Fable 5.2のみ使用$20.25$243
Grok 4.7のみ使用(従量制)$3.15$37.80
GPT-6.1 Terraのみ使用$2.03$24.30
DeepSeek V4.1-Flash-1017のみ使用(オフピーク時)$0.27$3.24
混在設定:Fableプラン+DeepSeek V4.1-Flash-1017を使用$4.82$57.86
混在設定:Fableプラン+MiniMaxを使用約$4.61約$55.35

Claude Fable 5.2の場合、今回の見積もりにおいて推論用トークンは一切使用されていませんので、ミッドバンドの数値が適切な費用となります。もしエージェントが全過程で思考処理を行うと仮定した場合、ハイバンドではそれぞれ$33.75および$405の費用が発生します。DeepSeek V4.1-Flash-1017のハイバンドにおける費用は$0.45および$5.40となります。ピーク時料金はオフピーク時の2倍となるため、ミッドバンドでもピーク時には$0.54および$6.48となりますが、これはハイバンドの数値ではありません。混在設定においては、Claude Fable 5.2が入力の20%および出力の25%を担当し、残りはDeepSeek V4.1-Flash-1017が処理します。その結果、オフピーク時における費用はそれぞれ$4.82および$57.86となります。コーダーとしてMiniMax M3.1 Flashを使用した場合、プラン期間内ではコーダー分の費用はゼロになりますが、Work値が8.0対11.6であるためレビューループ回数が増加します。これらの追加処理分の費用は$4.61や$55.35には含まれておりません。

推奨事項

DisPatchやChatForgeのようなプロジェクトでは、複数のモデルを組み合わせて利用するのが良いでしょう。Claude Fable 5.2を用いて計画やレビューを行い、DeepSeek V4.1-Flash-1017が実際のコードを記述します。その後、DeepSeek Harnessが処理を実行します。最終的にはGPT-6.1 Terraがユーザーからの問い合わせに応答します。ChatForge規模のプロジェクトにおいては、この構成でのコスト見積もりは4.82ドルとなります。DisPatch規模の場合は57.86ドルです。一方、Claude Fable 5.2のみを使用する場合は20.25ドルおよび243ドルとなります。また、DeepSeek V4.1-Flash-1017だけで全工程を行う場合は0.27ドルおよび3.24ドルとなります。最もコストが低いモデルを選んで利用し、高価なモデルは計画やレビュー用に残しておくのが良いでしょう。前述の4.82ドルはあくまで構築費用であり、チャット利用料金ではありません。GPT-6.1 Terra単体での見積もりでは、ChatForge規模で2.03ドル、DisPatch規模で24.30ドルとなります。これらは4.82ドルの構成に代わる選択肢ですが、どちらか一方のみを利用することになります。大量の作業を行う際にはMiniMax Token Planを活用し、あくまで制限として扱ってください。DeepSeek V4.1-Flash-1017よりもDeepSeek V4-Pro-0813を選ぶべきではありません。このモデルは評価点が18.4と低く、コストも高くなっています。単一のモデルのみを利用したい場合はGrok 4.7が最適です。総合評価は24.1点、チャット性能は12.4点となり、コスト見積もりは3.15ドルおよび37.80ドルです。処理にかかる費用は3.91ドルで、これはClaude Fable 5.2の14.87ドルの約4分の1に相当します。

満点を獲得したパック、そして次に何が起こるか

今回のテストセットでは、4つのモデルがいずれもパックで満点となる1.000を記録しました:

  • Claude Fable 5.2:作業・推論部門で第1位、エージェント機能部門でも第1位、成人向け文章作成部門では第2位でした。
  • Grok 4.7:作業・推論部門で第1位、成人向け文章作成部門では第2位でした。
  • GPT-6 Astra:エージェント機能部門で第1位を獲得しました。
  • GPT-6.1 Sol:エージェント機能部門で第1位となりました。

コード関連のパックでは、どのモデルも1.000を記録できませんでした。最高得点を挙げたのはGPT-6 Astraで、0.917でした。チャット関連のパックも同様に満点は出ませんでしたが、Claude Fable 5.2の「チャット/ディープRP」部門が0.964で最も高いスコアを記録しました。「MAX」という評価は別の意味を持ちます。これは特定のパートがランキングの頂点に達したことを示すだけで、パック全体が完璧だったことを意味するわけではありません。だからこそGPT-6 Astraはコード部門で「MAX」評価を受けていながら、実際のスコアは0.917なのです。あるパックで満点を取ったからといって、そのモデルが試験対象から外れるわけでもありません。現在MakoBench 4.5のテストが進行中であり、より難易度の高いパックも追加される予定です。したがって、今回の4.1版での結果は現時点での最高成績に過ぎず、最終的な結果ではないのです。

各モデルの得点やテスト内容、実行コストなどはすべて MakoBenchの掲示板に記載されています。


← AIとローカルLLMをもっと見る