私のAIエージェントが、私のAIエージェント用のベンチマークツールを作りました
- カテゴリ
- AIとローカルLLM
- 公開日
- 2026年8月11日
- 更新日
- 2026年11月9日
- 著者
- Jacob Lloyd — プロジェクト完了後、AIの支援を受けて執筆
- 読了時間
- 約33分で読めます
かんたんに言うと: 私たちのAIコーディングエージェントが、ローカルで動作するモデルの処理速度や単純なタスクをこなせるかどうかをテストするためのPythonファイル「bench-llm」を作成しました。このツールは今でも利用可能で、無料でダウンロードできます。しかし2週間もするとテストがあまりにも簡単になってしまったため、私たちはこれをより大規模な無料ツールであるCrucibleForgeに置き換えました。CrucibleForgeでは276もの質問が用意されており、モデルが生成したコードを実際に実行して検証することができます。
2026年8月11日、私たちはコーディングエージェントに対し、自社のエージェントスタック内で利用可能なローカルモデルをベンチマークするツールを作成してもらいました。すると bench-llm という成果物が返ってきました。これは1,660行からなるPythonコードで、LM Studioにおける処理速度を測定したり、モデルが生成したコードを実際に実行してみたり、小規模なエージェントタスクをこなせるかどうかも確認します。2週間もしないうちに、私たちが注目していたすべてのモデルが5点満点中5点を獲得したため、これを基に CrucibleForge として再構築しました。2026年10月時点で276件のテストケースがあり、そのうち166件は難易度が高いものです。CrucibleForgeはGitHub上でオープンソースとして公開されています。このページでは両方のツールについて説明します。まずは5分程度でモデルの性能を把握したい場合には bench-llm をご利用ください。簡単なテストをすべてクリアしたモデル同士を比較・ランキング付けしたい際には CrucibleForge をお使いください。
要約
- bench-llm: Pythonファイル1つだけで無料でダウンロード可能です。速度(最初のトークンまでの時間やトークン生成速度)、能力(コード生成・論理的思考・JSON処理・指示理解・要約作成の5テスト)、エージェントとしての適性(システムログ処理に関する3つのチェック)を測定します。Python 3.8以降、
pip install openai requestsおよび LM Studio が必要です。 - 廃止理由: 5つの能力テストと3つのエージェントチェックだけでは、優秀なモデル同士の差異を判別できなくなってしまうためです。
- CrucibleForge 3.6: 276件のテストケースがあり、そのうち166件は難易度が高いものです。コードはサンドボックス内で実行され、その結果に基づいて採点されます。OpenAI互換のあらゆるエンドポイントに対応し、ウェブGUIも備えています。現在ではDockerやWindows上でも動作します。MITライセンスで、github.com/LaserLloyd/CrucibleForge から入手可能です。
- ランキングボードの内容: 2026年11月08日時点のボードでは、Kimi K3.1 Proが20点満点中19.3点で最高得点を記録しています。ただしボード自体のペアテストでは全26モデルが同点と判定されています。MiniMax M3も初めて採点対象となり、得点は14.6点(再実行分を含めると15.5点)でした。1回の実行コストは約0.57ドル、ボード全体での費用は68.21ドルでした。
更新履歴:2026年08月26日、bench-llmを廃止しその結果を後継スイートへ移行。2026年09月16日、CrucibleForgeの説明部分を書き直し、保存済みの実行ファイルからランキングボードを再構築、表紙も新しくした。2026年10月19日、CrucibleForge 3.6.0向けに情報を更新(新機能)。現在のインストール方法やワンコマンドで実行できるベンチマーク、Docker対応についても記載した。2026年11月02日、2026年11月02日に実施されたテスト結果(スイート4.0.0)に基づきモデルランキングボードを再構築。2026年11月09日、2026年11月08日に実施されたテスト結果(スイート4.1.0)に基づき難易度の高いモデル向けボードを再構築。ここでは26モデルが採点対象となり、各モデルの実行コストも掲載された。MiniMax M3も初めて採点対象となった。
最終的に得られるもの
あるモデルに対して1つのコマンドを実行すると、次のような出力が得られます(実行例を要約したものです):
$ bench-llm gemma-4-31b-it
bench-llm — Benchmarking: gemma-4-31b-it
GGUF Size: 16.5 GB Quant: Q4_K_M
⚡ SPEED BENCHMARKS
short_50 TPS: mean=84.2 TTFT: mean=0.231s
medium_200 TPS: mean=85.7 TTFT: mean=0.312s
long_800 TPS: mean=82.1 TTFT: mean=0.541s
🔍 Validating speed plausibility... Confidence: HIGH
🧠 ABILITY TESTS
Code Generation (median_of_list)... PASS
Logic Puzzle (Pet Ownership)....... PASS
JSON Compliance.................... PASS
Instruction Following.............. PASS
Summarization (Key Facts).......... FAIL
Ability Score: 4/5
🤖 AGENT FITNESS TESTS
Task Acknowledgment / Format Adherence / Conciseness: PASS
Agent Fitness Score: 3/3
📄 Results saved: ~/benchmarks/gemma-4-31b-it-2026-08-11.json
このJSONファイルには、すべての処理時間や各モデルの応答内容、および要約情報が記録されています。このファイルをエージェントに渡して、「どのモデルが大量のJSON処理を担当すべきか?」と尋ねることも可能です。
bench-llmがテストする項目
速度
プロンプトの長さが約50文字、200文字、800文字の3種類を用意し、ウォームアップ処理を行った後、3つの指標を測定します。TTFT(最初のトークンが出てくるまでの時間)は、テキストが表示されるまでにどれくらい待つ必要があるかを示します。500ミリ秒を超えるとチャットとしては遅く感じられます。スループット(1秒あたりのトークン数)は、処理が開始された後、どれだけ速くテキストを生成できるかを表します。プリフィル速度は、プロンプトを読み込む速さを示します。
また、既知のハードウェアの限界に基づいた妥当性チェックも実施します。例えば、30GBのモデルが7900 XTX上で200 T/sという数値を記録した場合、bench-llmはその数値に問題があると判断します。これは、投機的デコードやキャッシュの温存効果によって数値が歪められている可能性があるためです。
能力
- コード生成: 境界条件も考慮して
median_of_list(numbers)というコードを作成します。bench-llmはテキストを読むだけでなく、6つのテストケースに対してその関数を実際に実行します。 - 論理パズル: 4人がそれぞれペットを飼っているという状況を扱うパズルです。チェッカーは返答から4人の割り当て情報をすべて抽出します。
- JSON準拠性: 正確なキー名を持つオブジェクトを返す必要があります。これはツール呼び出しを行うためのモデルに求められる最低条件です。
- 指示の遵守: 1から10までを列挙し、偶数だけに印を付けてその合計値を求めます。計算自体は簡単ですが、形式がテストのポイントとなります。
- 要約作成: 情報密度の高い文章を要約し、6つの固有名詞を含めて返します。ほとんどのモデルでは少なくとも1つは情報が抜けてしまいます。
エージェントとしての適性
モデルには現実的なエージェントタスクが与えられます。具体的には、syslogからERROR行を検索し、サービスごとにグループ化した上でJSON形式のレポートを返すという内容です。この1回の返答に対して3つのチェックが行われます:
- タスク認識: 対処法を説明し、自分ではできないことも明示しているかどうかが問われます。架空のsyslog行を作成するようなモデルは不合格となります。
- 形式準拠:
servicesという配列やtotal_errorsという整数、scan_periodという文字列が含まれているかを確認します。 - 簡潔さ: 出力の長さと入力の長さの比率がチェックされます。1,300文字のプロンプトに対して20,000文字もの回答がある場合は「冗長」と判定されます。エージェントが無駄な文章を繰り返すと、各ステップでコンテキストウィンドウが埋まってしまうためです。
どのようにして作られたか
私たちがコーディングエージェントに出した指示はたった一文でした。「LM Studio上でローカルモデルのベンチマークを行い、処理速度や性能をテストし、JSON形式および表形式の結果を出力するツールが必要だ」というものです。エージェントはその日の午後に4回の処理を経てそのツールを作成しました。まずLM Studioが提供するOpenAI互換のストリーミングAPIを使った速度テスト、次に機能面のテスト、そしてエージェントタスクの実行、最後に細部の調整(ディスク上からGGUFファイルを探し出す処理や妥当性チェック、--quick、--list、--checkの実装など)を行いました。すべてのコードはエージェントが書き上げたものです。私たちの役割は、実際のモデル上でそのツールを動かし、フィードバックを返すことでした。妥当性チェック機能があるのは、123B規模のモデルではある処理速度が到底達成不可能だとエージェントに伝えたからです。
皆さんのツール作りにも参考にしていただきたい設計上のポイントは以下の通りです:
- ポーリングではなくストリーム処理を使う。 トークンごとの処理時間を計測することが、正確なTTFTを得る唯一の方法です。
- コードは必ず実行してみる。 見た目は立派でも実際に動作しないコードは不合格となります。
- チェックを行う前に答えを抽出する。 チェッカー機能では「Sure! Here’s your answer:」といった前置き部分を取り除きます。そうすることで、テストは前置きではなく実際の内容を評価できるのです。
- 各実行時には必ずGPUを空状態にする。 前回のモデルのキャッシュが残っているとTTFTの値が歪んでしまいます。bench-llmがこれをどのように実現しているかが、以下の注意点となります。
セットアップ
# 1. Install both dependencies (requests reads LM Studio's model metadata;
# without it every model shows as "not found")
pip install openai requests
# 2. Start LM Studio with at least one model; it listens on localhost:1234
# 3. Run it
./bench-llm --list # what's available
./bench-llm gemma-4-31b-it --quick # smoke test
./bench-llm gemma-4-31b-it # full benchmark
設定用のファイルやデータベースは存在しません。LM Studioでは、任意の文字列をAPIキーとして受け付けます。処理結果は ~/benchmarks/ に保存されます。どこからでもスクリプトを実行したい場合は、PATHに含まれるフォルダーにそのスクリプトをコピーしてください。
注意点
- llama-serverが強制終了されることもあります。 各実行開始時に
pkill -f llama-serverを呼び出し、LM Studioから「ロードされているモデルがゼロ」という報告があるまで待機します。そのため、マシン上で動作中の他の llama-serverも終了してしまいます。他のサービスも動かしているマシンでは実行しないか、この処理を省略してください。 - コーディングテストでは
exec()を用いてモデルの出力を実行します。 新しい名前空間が使用されるため、これはサンドボックスとはなりません。失っても問題ないユーザー権限で実行するか、--speed-onlyを指定して機能テストをスキップしてください。 - 推論用モデルは動作が遅く見えることがあります。 TTFTの計測では、思考内容を含むあらゆる種類の最初のトークンがカウントされます。JSONではそれが
ttft_reasoning_sとttft_content_sに分けられています。 - 要約機能のみ失敗しているにもかかわらず評価点が4/5というのは優れた結果です。 ほとんどのモデルは少なくとも1つは事実を誤って認識してしまいます。
- 1つのモデルにつき完全なテストには2〜5分程度かかります。
--quickを使えば多数のモデルを比較でき、最終的に選んだモデルに対しては完全なテストを実施してください。 - LM Studioは事前に起動済みである必要があります。 bench-llmは localhost:1234 に接続するだけで、自身では何も起動しません。
結果:当社のラグおよびミニPC上でのベースモデルの性能
これらの数値は、bench-llmに続いて実施された中間テストスイートから得られたものです(速度測定方法は同じで、より多くのテストを行い、2026年8月18日に報告されました)。「Rig」とは、RTX 5090を2基およびRTX 3090を2基搭載したヘッドレスなGPUボックスです。「APU」とはミニPCに内蔵されているGPUのことです(当時はローカルモデルサーバーも動作していました)。速度の比較は、同一デバイス内でのみ行ってください。Code、Tools、Instruct、Reasonはそれぞれパス率を示しています。
| モデル | デバイス | 生成速度(トークン/秒) | TTFT | Code | Tools | Instruct | Reason |
|---|---|---|---|---|---|---|---|
| Gemma 4 26B-A4B (QAT, Q4) | Rig | 229.0 | 110 ms | 88% | 100% | 50% | 95% |
| Nemotron 3 Nano 4B (Q8) | APU | 18.5 | 175 ms | 92% | 70% | 94% | 95% |
| Gemma 4 12B | APU | 10.1 | 633 ms | — | — | — | — |
Gemma 4 26Bのミックスド・オブ・エキスパーツモデル(アクティブなエキスパートは4B)は、Rig上での日常的な作業に最適なモデルです。生成速度は229トークン/秒、最初のトークンが出力されるまでの時間は110ミリ秒で、ツール呼び出しの成功率も100%に達します。ただし、指示の遵守能力はやや弱く、これは無監督エージェントループにおいて最も重要となる要素です。一方、ミニPC上で動作する4B版のNemotronは指示の遵守能力が優れており(94%対50%)、ツール呼び出し成功率も70%に達します。ただし速度は約12倍遅く(18.5対229トークン/秒)、デバイスも異なります。最適なモデル選択の際には、単に速度の数値だけでなく、自身のワークロードにとってどの項目が重要かを考慮すべきです。
後継品:CrucibleForge
bench-llmは成功のあまり機能を失ってしまいました。5つの能力テストを用意しても、すべてのモデルが5/5や3/3といった高得点を取るようになると、このツールにはこれ以上評価する材料がなくなってしまうのです。CrucibleForgeはその後継品です。現在では約12,000行のPythonコードから成り立っており、「難しい問題であっても採点は容易であるべき」というルールに基づいて設計されています。
- 難易度の高いテストケースが166件。 整数で答える競技数学問題、一意な解を持つ論理パズル、適切な複雑度を満たすことを求めるコーディング問題(例えばO(n²)の逆順数計算は時間切れになる)などが含まれます。また、偽のツールやプロンプトインジェクションを仕掛けたツール利用の罠、12,000~24,000トークンにも及ぶ長文文脈の検索問題、複数の制約条件を伴う指示も用意されています。
- コードは実際に実行して採点される。ネットワークなし・システムは読み取り専用・15秒という制限付きの
bwrapサンドボックス内で実行されます。合格には標準出力に特定の識別文字列が含まれている必要があり、ゼロ終了コードを返すだけでは成功とみなされません。macOSやWindowsでは常にbwrapが利用できないため、--allow-unsandboxedオプションを指定しない限りモデルコードの実行は拒否されます。 - 文章形式の回答には正解例が存在する。判定用モデルは正解例を見て、応答内容が同じ意味を持つかどうかだけを判断します。これならどんな優秀な指示型モデルでも対応可能なので、判定プロセスが弱点になることはなくなります。
- OpenAI互換の任意のエンドポイントが利用可能。LM Studio、Ollama、llama.cpp、vLLM、DeepSeek、OpenRouterなども対応しています。ホスト型モデルでは複数のケースを並行して実行し、使用したトークンコストも報告します。APIキーは環境変数からのみ取得します。
- 思考型モデルが失ってしまう回答も回復できる。思考時間を最大限に使い果たした推論モデルは空の回答しか返さないことがあります。このツールではそうしたケースを検知し、思考機能をオフにして再度問いかけ、その回数も記録します。
recoverを使えば、過去の実行結果から該当する行だけを再実行することも可能です。 - GPUリソースを穏やかに共有できる。私たちの StudioForge システムでは、各実行処理が必要なGPUを仮予約し、終了時には他の処理用に返却します。以前の bench-llm では
pkillによって全モデルを強制終了させる方法で同じ問題に対処していました。 - Web GUIも備わっている。
127.0.0.1:8777上のインターフェースからモデルやカテゴリを選択でき、ログを閲覧したり失敗したケースのプロンプト・応答・推論内容・判定用モデルのコメントなどを確認することも可能です。ループバック以外で利用するには事前にトークンの設定が必要となります。
試してみる
最も簡単な方法は Docker を利用することです。なぜなら、コンテナがモデルが生成するコードのためのサンドボックスにもなるからです。Linux 環境で Docker がインストール済みの場合は以下のようにします:
git clone https://github.com/LaserLloyd/CrucibleForge.git && cd CrucibleForge
cp deploy/compose/.env.example deploy/compose/.env # LLM_BASE_URL defaults to port 1234 on the Docker host
docker compose -f deploy/compose/compose.yml up -d
docker compose -f deploy/compose/compose.yml logs app | grep "GUI:" # open the printed http://127.0.0.1:8777/?token=... URL
またはネイティブに実行することも可能で、Linux では bwrap による隔離環境が得られます:
sudo apt-get install -y bubblewrap
git clone https://github.com/LaserLloyd/CrucibleForge.git && cd CrucibleForge
uv sync --python 3.13
uv run crucibleforge config --init # writes models.yaml; set base_url to your server's /v1
uv run crucibleforge status # is the provider up? how many cases?
uv run crucibleforge all --models my-model --fresh --yes
uv run crucibleforge gui # http://127.0.0.1:8777
--python 3.13 オプションを指定します。ベアメタル環境では、単に uv sync を実行するだけでプロジェクトが対応しているバージョンより新しい Python が選ばれる場合もあります。macOS や Windows には bwrap が存在しないため、ネイティブ実行時にはサブコマンドの前に --allow-unsandboxed を指定する必要があります(そうするとモデル生成のコードもあなたの権限で実行されます)。あるいは Docker Desktop を利用することもできます。もしモデルサーバーが API キーを求める場合、api_key_env にその変数名を models.yaml 内の該当プロバイダー情報として記載します。なお API キー自体は環境変数として保持されます。
all を実行すると、profiles/bench.yaml に記載されたベンチマークが走ります。ここにはモデル間の差異を明確に区別できる最小限のセットとして49のケースが選ばれており、その後評価処理や順位付けが行われます。各モデルには0から100までの2つのスコアが与えられます。Coding は決定論的な判定基準に基づき評価され、プログラム作成能力やツール利用、指示の遵守、推論力、数学的処理などが評価対象となります。Chat では文章作成能力やロールプレイ、制御可能性が評価され、本ページでは扱わない成人向けコンテンツのカテゴリも含まれます。残りの276のケースは --cases や --categories を使うことで個別に実行可能です。その他利用可能なコマンドとしては run、judge、recover、report、pairwise、models、bench-all、import-openclaw、cases があります。

models.yaml を使った状態で、まだ何も実行されていないCrucibleForgeのGUI画面。どのプロバイダーが応答可能か、どの判定者がベンチマークを評価するか、そして276件(難易度の高いものが166件)からなるケースセットが確認できます。ローカルで何も実行されていないため、各プロバイダーにはDOWNのステータスが付いています。私たちが最も信頼しているコマンドは、問題自体を検証するものです。このコマンドではサンドボックス内で全ての参照解を実行し、数学的な答えを全て強引に再導出したり、長文文脈用のデータセットも再構築したりします。2026年10月19日に3.6.0のクリーンなコピー上で実行した際の出力は以下の通りです:
$ uv run crucibleforge cases verify
276 cases checked, 0 with problems (36 reference solutions executed, 37 answers re-derived)
テストスイートでも同様の検証が行われるため、問題に不備がある場合でも全モデルが静かに失敗したり、難易度の高い階層において誤って合格したりすることはありません。
3.6版の新機能
CrucibleForge 3.6.0(2026年10月18日リリース)では、プロジェクトのインストール方法や実行方法が変更されましたが、測定内容自体は変わっていません。どのケースや採点基準、指標も変更されておらず、3.5.1で記録された結果も同じケースセットとして扱われますので、既存のボード上のデータが無効になることはありません。
- Docker。 約190MBの読み取り専用かつ非root権限のイメージで、GUIは
127.0.0.1:8777上で利用できます。またmodels.yamlや結果データはアップグレード後も維持されるボリュームに保存されます。コンテナ内ではbwrapを使わずにプログラミングケースが実行されますが、これはコンテナ自体がサンドボックスの役割を果たしているためです。ネットワークにもアクセス可能なので、信頼できないコードが実行される場所と見なすべきです。 - Windows。 Windows上でもテストスイートは正常に通過し、CI環境にもWindows用の処理ステップが用意されています。ただし制限として、同時に2つのベンチマークを実行できないようにするロック機能はWindows上では有効になりませんので、一度に1つずつ起動してください。
- サンドボックス自己診断機能。
bwrapがインストールされているものの実際には隔離機能が働かない場合(コンテナ内であるか、ユーザーネームスペースがブロックされている場合)は、実行開始前にそれが検出されます。その場合、すべてのプログラミングケースでエラーが発生する代わりに実行自体が拒否されます(--allow-unsandboxedを指定すればサンドボックスなしで実行され、その旨も事前に通知されます)。 - APIキーおよびエラーメッセージの改善。
statusにより、サーバーが401または403エラーを返した際にその状況や設定すべき変数名が示されます。これは StudioForge 2.0のゲートウェイでキーを利用する際に必要な情報です。 - 2026年10月19日に修正: GUI上の「Judge pending rows」ボタンが、本来は採点に使えないフォールバック判定者によるスコア付けを行っていました。現在ではコマンドライン版と同様にベンチマーク用の判定者が使用され、ダッシュボード上でもその判定者の名前が表示されるようになっています。
アップグレード方法。 通常は git pull && uv sync --python 3.13 を実行すればよいです。models.yaml で StudioForgeのポート番号が8080に設定されている場合は、1234に変更してください。8080はStudioForgeの管理パネル用ポートであり、API用には1234が使われます。既存の models.yaml は自動的には書き換えられませんのでご注意ください。Docker環境では git pull を実行した後、docker compose -f deploy/compose/compose.yml up -d --build を実行します。この際ボリュームは保持されますが、down -v を使うとそのボリュームも削除できます。
レポートの見た目
reportはMarkdown形式およびJSON形式のファイルを生成します。各モデルにつき、要約行と、カテゴリごとの生の数値が記載された行が作成されます。以下はDeepSeek V4 Proのカテゴリごとの行の例です:
| Model | Coding | Math | Tool use | Instruction | Reasoning | Long-context |
| deepseek-pro | 89% (54/61) | 95% (21/22) | 94% (31/33) | 100% (31/31) | 100% (37/37) | 97% (29/30) |
すべての失敗事例がその理由と共に記載されています。コーディングに関する7つの失敗例は、下記の最初の行のような形式をしています。2番目の行は、ツール利用における2つの失敗例のうちの1つです:
- deepseek-pro [coding] CZ01-prime-census: TRUNCATED at 32768 tokens (32768 reasoning tokens); no code in response
- deepseek-pro [tooluse] TZ06-three-parallel-one-turn: 1 calls, expected 3
これがこのレポートの有益な点です。そのモデルは悪いコードを書いたわけではなく、32,768トークンの制限に達するまで考え続けた結果、何も書き出せなかったのです。より大きなトークン予算や低い推論負荷設定であれば、このスコアも変わっていたでしょう。単なる合格率だけでは、この事実は分からないのです。
ホストされているモデルについては、レポート内に実行コストも記載されます。これは標準テストを1回実行する際の費用を示すものです(詳細はMakoBenchのドキュメントをご覧ください)。
難易度の高いモデル群の結果
これは2026年11月9日時点での評価結果です。2026年11月8日にスイート4.1.0を用いて実行されたテスト結果を再構築したもので、gemma-4-31Bが評価を行いました。採点基準は前述の通りです。各カテゴリの満点は10点で、総合点の満点は20点(コーディングとチャットの合計)となります。また、ラダーパックを解除することで初めて10点を超えることができます。ラダーパックには3問の難易度の高い問題が含まれており、各1点ずつ加算されますが、それらは下位カテゴリ全てで90%以上の得点を獲得した場合にのみ与えられます。コーディングは決定論的な部分(関数作成、予測、バグ発見、ツール利用)を指し、チャットは主観的に評価される部分(役割演技、会話、キャラクター描写、創作活動)となります。得点の後ろにある±の値は、ブートストラップ法による90%信頼区間の半分を表しており、2つのモデルの信頼区間が重なっている場合は同点とみなされ、順位付けは行われません。
クラスとは得点が属する大まかな区分で、16点以上がS、13点以上がA、10点以上がBとなります。完了した行数とは、標準的な出力制限内で解答を終えた行の割合を示します。出力制限に達した行は失敗とみなされます。また、まだ再実行待ちの行もいくつか存在するため、一部の得点は今後変動する可能性があります。実行コストとは、提供業者の料金体系に基づいた1回分の標準的な実行費用(生成処理のみ)を示しており、評価処理自体は当方の計算機で行われています。報告書には生成速度の中央値も記載されていますが、これは同じホスト上で実行されたモデル間でのみ比較可能な数値です。今回は異なる業者のマシンを使用しているため、ここでは省略しております。
新たに評価が完了し、全モデルが同点となった
- 1回の実行、1人の評価者、1日で完了した。下記の26モデル全てが2026年11月8日にスイート4.1.0を用いて実行され、gemma-4-31Bによって評価されました。
- 本テストではどのモデル間にも差が出ない。隣り合うモデル同士の90%信頼区間にはゼロしか含まれておらず、この同点状態が最上位から最下位まで続くため、全26モデルに同じランクが付与されています。19.3から11.3という数値は順位ではなく、単なる推定値としてご理解ください。
- MiniMax M3もついに評価結果が出た。前回の報告ではコーディングのみの得点しか示されず、総合点は不明でした。今回は14.6 ± 1.7という値が得られました。また「Room」欄には、予算を増やして再実行した場合の推定値として15.5という数値も記載されており、現在もう一度再実行を待っている状態です。1回の実行に約0.57ドルかかるため、最上位モデルの7分の1程度のコストで済みます。
難易度の高いモデル群 — 全26モデルの一覧
| モデル | 総合点 | コーディング | チャット | クラス | 完了した行数 | 実行コスト |
|---|---|---|---|---|---|---|
| Kimi K3.1 Pro | 19.3 ± 0.5 | 10.0 ± 0.1 | 9.3 ± 0.5 | S | 100% | $4.07 |
| Grok 4.7 | 19.2 ± 0.3 | 10.0 ± 0.1 | 9.2 ± 0.3 | S | 100% | $3.91 |
| Claude Opus 5.5 | 19.2 ± 0.5 | 10.0 ± 0.1 | 9.2 ± 0.5 | S | 100% | $4.50 |
| DeepSeek V4 Flash | 18.8 ± 0.8 | 11.2 ± 0.4 | 7.6 ± 0.6 | S | 92% (4行が予算超過) | $0.14 |
| Claude Sonnet 5.5 | 18.6 ± 0.4 | 10.0 ± 0.1 | 8.6 ± 0.4 | S | 100% | $2.36 |
| GPT-6.1 Terra | 17.9 ± 1.0 | 9.4 ± 0.6 | 8.5 ± 0.7 | S | 100% | $0.63 |
| DeepSeek V4 Pro | 17.8 ± 0.7 | 10.1 ± 0.5 | 7.7 ± 0.4 | S | 89% (5行が予算超過) | $0.57 |
| GPT-6 Luna | 17.7 ± 0.6 | 9.7 ± 0.2 | 8.0 ± 0.5 | S | 100% | $0.08 |
| Claude Opus 5 | 16.7 ± 1.4 | 8.3 ± 1.2 | 8.4 ± 0.4 | S | 100% | $5.07 |
| Claude Opus 4.8 | 16.3 ± 0.6 | 9.2 ± 0.5 | 7.1 ± 0.4 | S | 100% | $4.37 |
| Claude Fable 5.1 | 16.1 ± 0.9 | 7.7 ± 0.5 | 8.4 ± 0.7 | S | 100% | $10.23 |
| Claude Opus 4.7 | 16.1 ± 0.8 | 9.3 ± 0.6 | 6.8 ± 0.5 | S | 100% | $4.75 |
| Claude Fable 5 | 16.0 ± 1.9 | 7.5 ± 1.9 | 8.5 ± 0.6 | S | 100% | $9.70 |
| Claude Haiku 5.5 | 15.3 ± 1.1 | 9.2 ± 0.7 | 6.1 ± 0.9 | A | 100% | $0.11 |
| Claude Opus 4.6 | 15.3 ± 1.3 | 8.0 ± 1.3 | 7.3 ± 0.3 | A | 100% | $3.38 |
| Claude Sonnet 5 | 15.3 ± 0.9 | 8.8 ± 0.8 | 6.4 ± 0.4 | A | 100% | $2.81 |
| Claude Sonnet 4.6 | 14.6 ± 1.6 | 7.6 ± 1.4 | 7.0 ± 0.7 | A | 97% (1行が予算超過) | $2.98 |
| MiniMax M2.5 Highspeed | 14.6 ± 0.8 | 8.3 ± 0.7 | 6.3 ± 0.4 | A | 100% | 約$0.63 |
| MiniMax M3 | 14.6 ± 1.7 | 8.5 ± 0.8 | 6.0 ± 1.4 | A | 94% (2行が予算超過) | 約$0.57 |
| Claude Opus 4.5 | 13.8 ± 1.4 | 7.1 ± 1.2 | 6.7 ± 0.7 | A | 100% | $3.27* |
| MiniMax M3.1 Flash | 13.6 ± 1.7 | 8.0 ± 0.9 | 5.6 ± 1.4 | A | 94% (2行が予算超過) | 約$0.28 |
| MiniMax M2.7 | 13.4 ± 1.7 | 6.7 ± 1.6 | 6.7 ± 0.5 | A | 100% | 約$0.30 |
| MiniMax M2.7 Highspeed | 13.2 ± 1.2 | 7.6 ± 0.9 | 5.6 ± 0.8 | A | 100% | 約$0.62 |
| Claude Sonnet 4.5 | 13.2 ± 1.1 | 6.4 ± 1.1 | 6.8 ± 0.4 | A | 100% | $1.94* |
| MiniMax M2.5 | 12.2 ± 1.8 | 6.4 ± 1.6 | 5.8 ± 0.8 | B | 100% | 約$0.31 |
| Claude Haiku 4.5 | 11.3 ± 1.2 | 5.7 ± 1.0 | 5.6 ± 0.6 | B | 100% | $0.63* |
コストの概要:26モデル全てを標準的な条件で実行するのに、生成処理のみで68.21ドルの費用がかかりました。評価処理は当方の計算機で行われており、本ページでは取り扱っていない成人向けコンテンツ関連のカテゴリも別途料金が発生します。26モデルのうち12モデルは1ドル未満で済み、その合計額は4.87ドルでした。残り14モデルでは63.34ドルが消費され、最も高額だったClaude Fable 5.1とClaude Fable 5の2モデルだけで19.93ドルを占めています。なお、6つの数値は実際の請求額ではなくトークン数から推定されたものであり、3つの数値にはアスタリスクが付いており、一部のリクエストで利用状況データが得られなかったため実際の費用はこれよりやや高くなる見込みです。
本表に記載されていないモデル:当方の計算機上で微調整された32モデルも存在しますが、それらは全て部分的な実行結果しか得られておらず、総合点もランク付けも行われていません。そのうち3モデルはGPU利用が許可されず、1モデルは実行途中で停止するという失敗に終わっています。また、ホスト型のモデル8つもまだ評価待ちの状態です。これらの中には、評価者が採点していない行が20行あるモデルが3つ、実行前に提供業者から拒否されたモデルが5つ存在します。上記の各モデルについても、以前の評価基準に基づく判定結果がいくつか残っており、再評価待ちとなっているため得点は今後多少変動する可能性があります。
ホスト型モデルにはそれぞれ製品名が記載されています。24モデルはスイート4.0.1の結果と今回の4.1.0での実行結果が混在しており、DeepSeek V4 FlashおよびDeepSeek V4 Proでは3.9.0の結果も含まれています。「~」が付いているコストは定価に基づくトークン数から推定された値であり、「*」がある場合は利用状況データが得られなかったため実際の費用は低めに見積もられている可能性があります。また、4つの未評価モデルには本サイトでは公開されていない廃止済みモデル名が記載されています。
ここから得られる知見は以下の通りです:
- 明確な順位差は存在しない。表上の隣り合うモデル同士の90%信頼区間にはゼロしか含まれておらず、この状態が最上位から最下位まで続くため全26モデルに同じランクが付与されています。紙面上ではKimi K3.1 Proの19.3とClaude Haiku 4.5の11.3の間に8点もの差がありますが、今回の実行結果上では両者は同等であり、この順序は単なる推定値としてご理解ください。
- コストこそがモデルを分ける基準となる。26モデル全てを1回ずつ実行するのに68.21ドルかかりました。DeepSeek V4 Flashでは0.14ドルで18.8点を獲得していますが、Claude Fable 5.1では10.23ドルも支払ってようやく16.1点しか得られず、単位コストあたりの得点効率は前者が後者の約85倍となります。12モデルは1ドル未満で済んでおり、その中には16点以上を獲得したモデルも4つ存在します。
- コーディング能力が上位モデルの基準となる一方、チャット能力はそうではない。コーディングで10点を超えたのはDeepSeek V4 Flash(11.2点)とDeepSeek V4 Pro(10.1点)のみであり、両者ともラダーパックを解除しています。一方でチャット部門では最高得点でもKimi K3.1 Proの9.3点にとどまり、10点に達したモデルは一つもありません。エージェント構築の際にはコーディングの数値がより重要となります。
- 出力予算が実質的なフィルター機能を果たしている。予算超過により失敗とみなされた行は5モデル分あり、DeepSeek V4 Proで5行、DeepSeek V4 Flashで4行、MiniMax M3およびMiniMax M3.1 Flashでそれぞれ2行ずつ、Claude Sonnet 4.6で1行となっています。再実行が可能な場合、「Room」欄には予算を増やした状態での得点も記載されており、MiniMax M3では15.5点、MiniMax M3.1 Flashでは14.5点と表上の数値より0.9点ずつ高くなっています。一方でDeepSeek V4 FlashおよびClaude Sonnet 4.6についてはまだ再実行が待機中です。
- コンテンツフィルターも実質的な得点減少要因となる。提供業者のコンテンツフィルターにより応答がブロックされたモデルが4つあり、Claude Fable 5で6回、Claude Opus 5で2回、Claude Fable 5.1で2回、Claude Opus 5.5で1回となっており、ブロックされた応答は0点として扱われます。また、評価者が解釈できなかった判定結果があるモデルも5つ存在します。
ダウンロード
ダウンロードできるのはbench-llmという、現在は使用されていない元々のバージョンです。CrucibleForgeではありません(CrucibleForgeはGitHub上に存在します)。ZIPファイルには2つのファイルが含まれており、bench-llmは1,660行からなるスクリプト、README.mdには簡潔なセットアップ手順が記載されています。これら2つのファイル以外にビルドやインストールが必要なものは一切ありません。ZIPを解凍して実行するだけです。両ファイルはエージェントによって作成され、MITライセンスが適用されています。使用するための依存パッケージはopenaiおよびrequestsです。他のサービスも同時に運用しているマシンで実行する前に、注意点を必ずお読みください。
関連情報:StudioForge(このモデルがGPUリソースを借りているサーバー)、私のAIエージェントにかかる実際のコスト(ローカルでの処理速度が重要な理由)、DeepSeek Harness(これらのモデルを支援するコーディングエージェント)、そしてローカルで利用可能なAIエージェントスタックです。
ダウンロード
個人利用は無料です。役に立ったら、コーヒーをおごってもらえると嬉しいです。