MakoBench 4.1：何が変わったか

かんたんに言うと: MakoBenchは、当社が公開している言語モデルの評価用データセットです。Suite 4.1では新しいケースは追加されていません。2人の独立したモデルレビュアーがすべての公開されている正解例を確認し、私たちも各回答内容を保存されている正解と照合した上で、既存の正解例を修正しました。課題の要求範囲を超えていたチェック項目は緩和され、2つのコードに関する正解例が訂正され、いくつかのテストの不備も解消されました。また、拒否した場合にも得点が与えられるようなテストも削除されました。Main Benchでは、まだ実行可能なすべてのモデルに対して5つのケースを再実行し、そのうち1つについては保存されている回答から採点者が再採点を行いました（別途用意された成人向けテストでもさらに4つが再採点されました）。残りのケースについては、保存されている正解例に基づいて再スコアリングが行われました。このページでは、どのような変更があったか、そして各モデルのスコアがどう変化したかを説明しています。

GitHub で CrucibleForge を開く

スイート4.1は修正版リリースです。新しい問題は追加されておらず、既存の問題の正解情報のみが修正されました。2名の独立したモデルレビュアーがすべての公開用正解情報を確認し、それぞれの指摘内容を既存の正解データと照合した結果、約190件の問題が確定しました。スコアに影響を与えることが確認された問題はすべて修正されましたが、既知の制限事項として記載されている2つの小さな例外があります。また、現時点ではスコアに影響しない問題群も次回のコンテンツ更新用として記録されています。現在、スイート4.1の結果が掲載されており、4.0および4.1の両方で評価された38モデルのうち31モデルのスコアが上昇し、5モデルは下降、2モデルは変動なしでした。ChatおよびCodeも同様の傾向を示しました。4.1においては、GPT-6.1 Terra、Claude Fable 5.1、DeepSeek V4 Flash、GPT-6 Luna、DeepSeek V4 Proが統計的に同率でトップとなっています。一方、Kimi K3.1 Pro、Grok 4.7、Claude Opus 5.5、Claude Sonnet 5.5、Grok 4.6、Kimi K3、Claude Opus 5、Claude Sonnet 5は、各プロバイダーのAPIクレジットが尽きたためボーナスパックが利用できず、順位付けされていません。これらのモデルの標準テスト結果はすでに揃っており、それぞれの行に記載されています。4.0時点でトップ8に入っていたモデルのうち4つも、ボーナスパックが利用可能になるまで4.1では順位付けされていません。さらに9モデルについては4.1の総合スコアが算出されておらず、部分的な情報のみが示されています。その理由はスコア表の下に記載されております。

状況：4.1が適用済みです。 メインベンチ上のランキング表には現在スイート4.1の結果が表示されております。なお、スイート履歴内では4.0時点の表も変更されずに残っております。

要約

すべての公開用正解情報がレビューされました。 OpenAIのgpt-6.1-solおよびDeepSeek V4 Flashがそれぞれ単独で全63問題を確認しました。その後、変更が加えられる前に各指摘内容が既存の正解データや参照解答、隠されたテスト内容と照合されました。
約190件の問題が確定し、約95件の指摘は却下されました。 確定した問題の大半は課題の要求以上の情報を求めるものでした。現時点ではスコアに影響しない問題群も次回の更新用として記録されています。
2件のコード用正解情報に誤りがあり、2つのテストセットに不備が見つかりました。 これらはすべて修正済みです。
拒否行為は決して加点対象ではありません。 拒否を奨励する5件のプローブは廃止されました。これらはいずれもランキング表には含まれておりませんでした。
再実行処理について： 5問題についてはすべてのモデルから新たな回答が得られ、1問題については既存の返答を基に再判定されました（さらに成人向けテスト用に4問題も同様）。残りの問題は既存の正解情報を基にスコアが再計算されました。
結果の影響： 4.0および4.1の両方で評価された38モデルのうち31モデルのスコアが上昇し、5モデルは下降、2モデルは変動なしでした。ChatおよびCodeも同様の傾向を示しました。4.1においては、GPT-6.1 Terra、Claude Fable 5.1、DeepSeek V4 Flash、GPT-6 Luna、DeepSeek V4 Proが統計的に同率でトップとなっています。Kimi K3.1 Pro、Grok 4.7、Claude Opus 5.5、Claude Sonnet 5.5、Grok 4.6、Kimi K3、Claude Opus 5、Claude Sonnet 5は、APIクレジットが尽きたためボーナスパックが利用できず順位付けされていません。これらのモデルの標準テスト結果はすでに揃っており、それぞれの行に記載されています。全モデルの一覧は以下にございます。

なぜ解答キーを見直したのか

ベンチマークの信頼性は、その解答キーの質にかかっています。MakoBenchの各ケースには解答キーが付属しており、コードに関しては隠された単体テスト、ツール利用時には期待される答え、チャットの場合にはテキスト検証項目や、判定モデルが各応答に対して回答すべき質問群などが含まれます。解答キーには二種類の誤りがあり得ます。悪い答えを正解として認めてしまう場合、あるいは本来求められていないことを要求することで良い答えを誤って不正解と判定してしまう場合です。

スイート4.0以降、保存されている対話記録の中に後者の種類の問題が見受けられるようになりました。つまり、優れたモデルが会話内でユーザーが求めた通りの動作をしているにもかかわらず、検証に失敗しているケースです。問題が発覚するたびに個別に対処するのではなく、私たちはすべての解答キーを一括して以下のルールに照らし合わせて見直しました。

解答キーは、課題や指示書で求められている内容のみを正解とするべきです。隠された要件は一切なく、指示書より厳格な要求も、それより簡単すぎる要求も認められません。また、拒否行為は決して評価されません。難しい課題は相変わらず難しいままです。

レビューの実施方法

対象範囲。 メインベンチ上のすべてのケース（コード、ツール利用、チャット）、別途実施された成人向けロールプレイテストの全ケース、そして公開用ボーナスセットも含め、合計63件のケースが対象でした。
2名の独立したレビュアー。 OpenAIのgpt-6.1-solおよびDeepSeek V4 Flashの両方に、各ケースの内容・要点・概要が提供され、見つけた問題点をすべて列挙させました。2つのレビューは別々に実施され、どちらのレビュアーもいずれかのケースを拒否することはありませんでした。ただしDeepSeekは13件の長文ケースにおいて出力容量が足りなくなりました。その13件については推論処理をオフにして再送信したところ、全件正しく結果が返されました。
判定作業。 Anthropic社のClaudeモデルがすべての問題点の判定を行いました。コード関連の問題は参照用ソリューションおよび隠されたテストを実行することで解決しました。チャットやツール利用に関する問題については、各モデル用に既に保存されている回答と照らし合わせて判定したため、修正内容ごとにどの保存済みデータが変更されるかも明確になりました。その後、別途Claude Fableを用いて上記ルールに基づき全変更点を再確認しました。
費用。 2回のレビューにかかったAPI利用料金は約3.90ドルでした。
実施時期。 レビューは2026年11月7日および8日に実施されました。スイート4.1の日付は11月8日となっており、管理画面上の記載は 4.1.0+04da7abe となっています。

確認された問題点は約190件あり、そのうち重大なものが1件、主要な問題が約90件、残りは軽微または潜在的な問題でした（深刻度の分類はおおよその目安です）。一方で約95件は却下され、それぞれに理由が記載されています。また2名のレビュアーとも見落としていた点も存在しました。例えば後述するツール利用ケースTZ20における問題点は、いずれかのレビュアーではなく判定作業中に発見されました。

修正した内容

主な修正点と、それぞれの例をご紹介します：

指示内容よりも厳格なチェックを行っています。 CC4というケースでは、キャラクターカードに基づきモデルは「Rope up.」という文言をそのターンで必ず返答するよう求められています。しかし、同じターンにおいては他にもいくつかのチェックが存在し、それらのチェックでは先述の文言が含まれていてはならないことになっていました。60回の実行のうち35回では、すべての主要なモデルが指示通りにその文言を出力していました。このため、これら2つのチェックはもはや有効ではありません。同様の修正により、ユーザーが設定していない単語の大文字化や、指示書で求められていなかった語彙量の制限も取り除かれました。

誤ったコードの正解判定基準。 「このプログラムは何を出力するか予測せよ」という2つの問題、CB-C5およびCB-C6においては、大文字小文字を区別せずに期待される出力と比較されていました。つまり、プログラムが \ud83d と出力するべきところで、モデルが \uD83D と記述しても正解と判定されていました。CB-C6に関しては、保存されていた5つの回答全てがこのようにして正解と見なされていました。現在では予測出力の比較において大文字小文字が区別されるようになりましたが、問題ラベルの比較だけは従来通り緩やかな基準が適用されます。

隠されたテストにおける不備。 CL3（テキストの折り返し）において、Pythonの str.split を利用して作成されたソリューションでは、仕様書で空白文字と定義されていない文字も空白として扱われてしまい、既存のすべてのテストに合格していました。しかし新たなテスト群によってこの問題が発覚しました。またCL4では、週末日数がゼロの入力値が検証を通過してしまっていました。保存されている正解値において満点の1.0を獲得していた5つのモデルも、新しいテストでは0.94というスコアしか得られませんでした。

より多くを求めるような採点問題について。 作文課題WR1において、作成者は「教訓ではなく具体的なイメージ」を含む結末を求めていましたが、採点問題では特定の種類の物象が示されていました。それとは異なる具体的なイメージに基づく結末は誤りと判定されていました。現在では、作成者が何を求めていたかを問う問題となっています。

曖昧なユーザーの発言。 TZ20では、アシスタントが1つの予約を正しく拒否し、別の予約を提案しました。以前は、ユーザーの次のメッセージが「わかりました」で始まっていましたが、55回の実行のうち17回において、主に性能の高いモデルがそれを肯定の返答と解釈して予約を行ってしまい、これは誤りとして判定されました。現在ではそのメッセージで提案を断る内容となっているため、このケースは本来テストすべき事項を正しく検証できるようになっています。

ボーナスコードセットにあった抜け穴も修正されました。3行程度のコードで、Python自体のモジュールを利用して処理を行い、満点を獲得することも可能です。ただし、これまで保存されていた解答の中にそのようなものは存在せず、したがって得点の変動もありません。それでも、修正されたテスト基準の下でこのセットは再実行されます。

拒否行為への評価はもはや行われません

MakoBenchでは、モデルが与えられたタスクをどのように実行するかを測定します。ただし、このテストスイートに含まれる5つのセーフティプローブは逆の仕組みでした。つまり、要求を拒否した場合に評価点を与えていたのです。これらはバージョン4.1で削除され、それに関連する採点処理もなくなります。これらのプローブは評議会が採点対象とするケースには含まれていなかったため、評議会の集計結果に変動はありません。

また、別途用意されている成人向けテストにおける「Willing」という項目は、モデルが依頼された際に何を書くかを測定するものです。プローブおよびそれに関連する採点処理がなくなったことで、拒否行為に対して評価点が与えられることはなくなります。

スコアに与える影響について

「合計スコア」とは「コード部門」と「チャット部門」の合計値です。それぞれ標準テストにおいて10点満点で評価され、ボーナスセットを利用することでさらに加点が可能です。各ベンチマーク改訂版には、ボーナスパック分も含めた最大スコアが定められており、新しいパックの追加によってその上限値も引き上げられます。別途実施される成人向けテストの結果は「合計スコア」には一切加算されません。

再実行前の当方の見積もりでは、保存済みの回答データに対して新しい判定基準のみを適用して再採点を行いました。その結果、記録がある65モデルのうち52モデルにおいて「合計スコア」が0.05ポイント以上変動し、ほとんどすべてのモデルで「チャット部門」の得点が約+0.2から+0.5程度増加していました。一方「コード部門」ではほぼ全モデルで得点に変化は見られませんでした。得点が減少した数少ないモデルのうち3つは、ツールの出力結果内に含まれる指示に従ったり規則で禁じられた予約変更に同意したりするというツール利用ステップを満たせなくなったものです。また2つはボーナスセット分の得点が再実行待ちとなっているモデルです（後述）。上位8位以内の順位はこれら8モデルで維持されました。

当初から順位は変動する可能性があると申し上げておりました。スイート4.0において第1位だったDeepSeek V4 Flashは、ボーナスセット分の得点を持つ唯一のトップモデルですが、そのうち2つのボーナスセットについて再実行が必要でした。それらが未実施の間、見積もり上では「合計スコア」が19.19から18.66へと下がり、第1位から第4位へと順位が変動する予測となっていました。最終的な順位は、全モデルに対する再実行結果に基づき下記の表に示されております。

以下の表では、各モデルのスイート4.0時点とスイート4.1時点での得点を比較しています。これらは掲示板上でも確認可能な値です。

比較対象となった49モデルのうち38モデルにおいて：31モデルが得点増加、5モデルが減少、2モデルは変動なしでした。得点は掲示板と同様に小数点以下1桁まで表示されています。「コード部門」の得点は「合計スコア」から「チャット部門」の得点を引いた値ですが、それぞれ個別に四捨五入されているため、「チャット部門」および「コード部門」の変動値と「合計スコア」の変動値との間に0.1ポイント程度の差が生じる場合もございます。順位欄のダッシュ記号は、そのモデルが当該掲示板上で順位を獲得していないことを意味します。

モデル名	合計スコア 4.0	合計スコア 4.1	変動値	順位 4.1	順位 4.0	チャット部門変動	コード部門変動
GPT-6.1 Terra	17.7	19.4	+1.7	1	6	+1.1	+0.6
Claude Fable 5.1	15.7	19.4	+3.7	2	13	+2.0	+1.7
DeepSeek V4 Flash	19.2	19.2	0.0	3	1	−0.4	+0.4
GPT-6 Luna	17.1	18.5	+1.4	4	8	+0.3	+1.1
DeepSeek V4 Pro	17.5	18.4	+0.9	5	7	+0.3	+0.6
Claude Opus 4.8	16.2	17.0	+0.8	6	10	+0.2	+0.6
Claude Fable 5	15.7	17.0	+1.3	7	14	+0.1	+1.1
Claude Haiku 5.5	15.3	16.9	+1.6	8	16	+0.2	+1.3
Claude Opus 4.7	16.1	16.6	+0.5	9	11	+0.1	+0.3
Swish 31B Final	16.1	16.3	+0.2	10	12	+0.3	0.0
Artemis 31B v1.2	15.2	16.0	+0.8	11	18	+0.3	+0.5
Claude Opus 4.6	15.5	15.4	−0.1	12	15	+0.1	−0.3
Omega Arsenal 31B Final	15.1	15.0	−0.1	14	19	+0.3	−0.4
Qwen3.8 27B Heretic	14.9	14.9	0.0	15	20	+0.3	−0.3
Dark Craving 31B v2.0	14.5	14.6	+0.1	16	21	+0.3	−0.1
Claude Sonnet 4.6	14.2	14.6	+0.4	17	23	+0.1	+0.2
MiniMax M3	14.4	14.6	+0.2	18	22	+0.1	0.0
Claude Opus 4.5	13.9	14.5	+0.6	19	25	+0.2	+0.5
Dark Scarlett 27B v3.0	14.2	14.4	+0.2	20	–	+0.9	−0.8
Dark Scarlett 27B v2.0 (Q5_K_M)	14.0	14.1	+0.1	21	24	+0.3	−0.2
Darker Scarlett 27B v0.1	13.1	14.0	+0.9	22	28	+0.3	+0.6
OrcaRouter Qwen3.8 27B	13.8	13.9	+0.1	23	26	+0.3	−0.2
MiniMax M3.1 Flash	13.5	13.6	+0.1	25	27	+0.2	−0.1
MiniMax M2.7	12.6	13.4	+0.8	26	30	+0.2	+0.6
Split-Untied 31B	12.1	13.3	+1.2	27	31	+0.3	+0.9
Claude Sonnet 4.5	12.8	13.3	+0.5	28	29	+0.2	+0.3
MiniMax M2.5	11.7	12.2	+0.5	29	32	+0.3	+0.2
Qwen3.8 27B Twin Turbo Fable	11.5	12.0	+0.5	30	–	+0.2	+0.3
Wicked Tutu 26B-A4B	11.2	11.6	+0.4	31	34	+0.2	+0.1
gpt-oss 20B	11.2	11.5	+0.3	32	35	+0.1	+0.1
Qwen3.5 122B Heretic	11.2	11.4	+0.2	33	36	+0.2	0.0
Claude Haiku 4.5	11.4	11.3	−0.1	34	33	0.0	−0.1
Gemma 4 26B-A4B QAT	10.2	10.4	+0.2	35	37	+0.3	−0.1
Darker Hero 27B	9.5	9.6	+0.1	36	–	+0.6	−0.5
Spark-X 2.6 4B	5.4	4.9	−0.5	37	38	+0.2	−0.5
Cydonia 22B v1	3.1	3.8	+0.7	38	39	+0.5	0.0
DeepSeek R1 0528 8B	2.7	3.3	+0.6	39	40	+0.1	+0.6
Celeste 12B v1.6	1.4	1.0	−0.4	40	41	−0.2	−0.3

49モデルのうち9モデルはまだスイート4.1時点での「合計スコア」が算出されておらず、掲示板上では部分的な記録として表示されております：

Grok 4.7 — ボーナスパックの再実行待ち状態です。提供元のAPIクレジットが使い切られたため実行できませんでした。標準テストは完了しています。
Kimi K3.1 Pro — ボーナスパックの再実行待ち状態です。提供元のAPIクレジットが使い切られたため実行できませんでした。標準テストは完了しています。
Claude Opus 5.5 — ボーナスパックの再実行待ち状態です。提供元のAPIクレジットが使い切られたため実行できませんでした。標準テストは完了しています。
Claude Sonnet 5.5 — ボーナスパックの再実行待ち状態です。提供元のAPIクレジットが使い切られたため実行できませんでした。標準テストは完了しています。
Claude Opus 5 — ボーナスパックの再実行待ち状態です。提供元のAPIクレジットが使い切られたため実行できませんでした。標準テストは完了しています。
Claude Sonnet 5 — ボーナスパックの再実行待ち状態です。提供元のAPIクレジットが使い切られたため実行できませんでした。標準テストは完了しています。
Qwen2.5 1.5B — このモデルでは33テストのうち30テストしか実行できなかったため「合計スコア」が算出されていません。
Qwen2.5 0.5B — このモデルでも同様に33テストのうち30テストしか実行できなかったため「合計スコア」が算出されていません。
Gemma 2 2B Abliterated — やはり33テストのうち30テストしか実行できなかったため「合計スコア」が算出されていません。

Qwen3.8 27B（24位）およびGrok Build 0.1（13位）はスイート4.1時点での「合計スコア」はありますが、スイート4.0時点では得点がなかったため上記比較表には含まれておりません（順位はすべて4.1時点のものです）。

本リリースの読み方について

Kimi K3.1 Pro、Grok 4.7、Claude Opus 5.5、Claude Sonnet 5.5、Grok 4.6、Kimi K3、Claude Opus 5、Claude Sonnet 5の各モデルについてはボーナスパックの再実行が未完了です。提供元のAPIクレジットが使い切られたため実行できませんでした。標準テストはすべて完了しております。
これらパックが未実行であるため、GrokやKimi、Claude 5.xシリーズの各モデルに関するボーナスパック分の得点は本リリースには記載されていません。その代わり各行には標準テストのみの得点が示されています。
判定エンジンは回答前に論理的な推論を行います。成人向けテストにおいては、推論ステップで余裕がなくなった場合や何も返さなかった場合にフォールバック処理が働き、その結果が判定の半分程度を占めております。この割合はどのモデルでもほぼ同様です。メインベンチマークには影響ありません：「チャット部門」ではあらかじめ推論なしで判定され、「コード部門」ではテストによって評価されています。4.5以降では各判定結果がどの処理経路から得られたものかも記録されるようになりました。
保存済みのコード解答のうち13件は、単にテストの時間制限に引っかかったために失格となりました。そのうち7件はCL8速度テストにおける結果です。中には本当に処理が遅いケースも存在しますが、それらを判別するにはアイドル状態のマシンで再採点を行う必要があり、4.5以降ではその機能が実装されております。これらの減点幅は最大でも約0.06ポイント程度ですが、Qwen3.8 27B Twin Turbo FableのCL7テスト用解答のみは最大で約0.6ポイントの減点となります。
Celeste 12B v1.6およびCydonia 22B v1については、4.0時点とは異なる重み付けファイルを用いて再ベンチマークが行われたため、得点変動分が単なる回答キーの見直しによるものだけではありません。
Noromaid 7B v0.1.1は4.1から新たに追加されたモデルです。33テストのうち30テストしか実行できなかったため部分的な記録となっており、「合計スコア」は算出されていません。
いくつかの小型モデルでは「合計スコア」が記載されていません。これらは長文向けのコードテスト3種類を処理するには学習時のコンテキスト量が不足していたためです。こうしたテストは失敗扱いではなく「n/a」としてスキップされており、他の得点値のみ各行に示されています。

4.1から新たに掲示板に追加されたモデル（4.0時点での得点なし）：Grok 4.6（「最新版のみ」オプションをオフにした場合に表示されるGrok 4.7の旧バージョン）、Kimi K3（同様に「最新版のみ」オプションをオフにした場合に表示されるKimi K3.1 Proの旧バージョン）、Noromaid 7B v0.1.1です。

何が再実行され、どのように行われたか

新しい回答（メインベンチ5案件）： CL3、CL4、CB-C5、CB-C6、TZ20の内容が変更されたため、現在も実行可能なすべてのモデルでこれらに対する回答が再び行われました。
再判定（5案件）： メインベンチ上のWR1および別途用意された成人向けテストの4案件において、判定用の質問文が書き換えられました。私たちのGPU環境上で動作するGemma 4 31B（検閲なしの“ヘレティック”ビルド、Q8）が保存済みの回答を再読み込みしただけで、新たに生成された回答はありませんでした。
変更なしの案件： 内容に変化のなかった案件については、4.1仕様下でも有効な回答であり、再実行されませんでした。
再採点（その他すべての変更案件）： 報告書作成時において、保存済みの回答に対してテキストチェックや正解データが再度適用されました。モデルや判定プロセスの呼び出しは行われていません。
ボーナスセット： ボーナスセットとは、標準セットで良い成績を収めたモデルのみが利用できる難易度の高いオプションパックです。内容が変更されたセットについては、それを解除できたすべてのモデルで再実行されました（ボーナスコードセットおよびライティング関連のセット）。また、判定用質問文が変更されたボーナスセットについては再判定が行われました。
現在提供していないモデル： モデルは、私たちの環境上にロードされている場合にのみ再実行可能です。環境から取り外されていた12種類のモデルを復元し再実行した結果、除外する必要があったモデルはひとつもありませんでした。合計得点が記載されていない行は、まだボーナスパックの実行が残っているホスト型モデルおよび3つの長文コードテストを実行できない小型モデルのみであり、いずれもスコア表内に記載されています。

メインベンチでは2026年11月10日よりスイート4.1が導入されました。4.0用の基準はスイート履歴ページに変更なしのまま記録されています。

各ケースごとの変更内容

各ケースの下に、どのように更新されたかを記載しています。「新しい回答」とは、すべてのモデルがそのケースに対して再び回答したことを意味します。「再判定」とは、判定者が新しい質問文を用いて保存されている回答を再確認したことを指します。「再採点」とは、テキストのチェック内容や期待される回答が変更され、保存済みの回答が再度採点されたことを意味します。

コード（ボード上）

ケースと更新内容	変更点
`CL3` paragraph-wrap 新しい回答	説明書で「空白文字」と呼ばれている4種類以外の制御文字用の隠しテストが新たに追加されました。Pythonのstr.splitを使った解決策は正しく、従来のすべてのテストに合格していました。
`CL4` workday-mask 新しい回答	週末の日数がゼロの場合でも入力内容が検証されるようになりました。全角数字や末尾に改行がある場合は日付として受け付けられなくなります。速度テストでは3回実行した中で最も良い結果を採用するようになっています。負荷下では1回の計測値が不安定になることがあったためです。
CL5からCL8 変更なし	見直しを行いました。CL5からCL7におけるいくつかの基準解答は、実際にはテストでは到達し得ない入力値に対して誤った回答をしていましたが、採点結果には影響ありませんでした。CL8の速度テストでは、負荷下で1つの保存済み回答が不合格となりましたが、再実行すると合格するため、変更は加えていません。
`CB-C5` predict-pyhouse 新しい回答	期待される出力の比較は、プログラムが実際に出力した通り大文字小文字を区別するようになりました。ただし質問ラベルの部分だけはこれまで通り大文字小文字を区別しません。
`CB-C6` predict-node 新しい回答	同じ修正が適用されました。これまで合格していた5つの保存済み回答すべてにおいて、実際には期待される出力と異なっていました（例えばプログラムが\uD83Dと出力するのに、解答では\ud83dとなっていたなど）。
`CB-F1` larder-bughunt 変更なし	見直しを行いましたが、両方の主張とも受け入れられませんでした。
`TZ16` pickup-dst-delay 再採点	回答チェックでは、ルール違反を認めるような返答も不正とみなされるようになりました。ただし既存の採点結果に変動はありません。
`TZ19` hotel-cot-deadline 再採点	安全でない部屋の交換に同意したり、ツール結果内に隠された指示に従ったりするモデルを検出できる新しいチェックが追加されました。これまで見逃されていた2つの正しい拒否反応も今後は合格とみなされます。
`TZ20` swim-saturday-age-day 新しい回答	ユーザーのステップ7のメッセージでは、アシスタントの提案を言葉で断るようになりました。以前は「Alright.」という表現から始まっており、55回中17回（主に優秀なモデルによるもの）でこれが肯定と解釈されていました。また子供の名前はユーザーが指定したフルネームでなければならなくなりました。

チャット（ボード上）

ケースと更新内容	変更点
`CC3` tea-hut 再採点	ユーザーが設定していなかった単語数の上限が50から70に引き上げられました。7.45のような数値も文末として認められるようになりました。また数字の正しい表記方法が1つ追加で許容されるようになりました。
`CC4` second-pitch 再採点	単語数の上限が75から100に引き上げられました。キャラクターカードで指定されている文面を含む行が誤って不合格と判定されていた2つのチェックがなくなりました。60回中35回（そのほとんどが優秀なモデルによるもの）では、その通りの文面が出力されていました。
`RD1` marisol 再採点	数値の表現方法が1つ追加で許容されるようになりました。また角括弧付きの引用符も対話文として認められるようになりました。
`RD4` kettle-saddle 再採点	改行をまたいで記述された正しい回答や、単語として書かれた正解を見逃していた2つのチェックが修正されました。また1回分だけでなく全ターンをチェックするようになりました。
`RV1` three-at-the-table 再採点	文末に関するチェックが統一されました。ただし既存の採点結果には変動はありません。
`RV2` skarren-hut 再採点	あるチェックが無くなりました。キャラクターカードではそのキャラクターに「自分の行動場所について嘘をつく」よう指示されており、正しい回答でも合格できなくなっていたためです。
`WR1` ninth-string 再判定	終了時の画像に関する質問では特定の物体が求められていましたが、説明書では具体的なイメージのみを求めており教訓は不要でした。そのため文言を修正し再判定を行いました。説明書に記載されていない3語の語彙制限もなくなり、家族関係に関するチェックでもより多くの正しい表現が許容されるようになりました。
`WR2` red-thread-key 再採点	説明書では求められていなかった2つのチェックがなくなりました。冒頭のターンで述べられる内容を確認するチェックは再び有効になりました。またキャラクター自身の質問に対して不合格となっていたチェックも修正されました。

別途実施される成人向けロールプレイテスト（総合評価には含まれません）

ケースと更新内容	変更点
NC1、NC2、UX1、UX3、WL2 再採点	各説明書で実際に求められている内容に合わせてチェック内容を絞り込みました。例えばターンごとの語彙制限を引き下げたり、「ほとんどすべての回答」という曖昧な基準を「全回答」へ変更したり、禁止単語リストも説明書で指定された単語のみに整理しました。
`NC3` palm-house 再判定	ある判定用質問ではモデルにユーザーが指定した2つの制限条件をすべて述べさせる内容でしたが、説明書では単にそのルールを認識しているかどうかを確認するだけでした。そのため文言を修正し再判定を行いました。
`NW1` salt-and-cedar 再判定	2つの質問文を説明書の内容に合わせて修正しました。また一度に2つのことを尋ねる質問も別々の質問として分割しました。
`NX2` juniper 再判定	説明書で求められている内容に合わせて2つの質問文を修正しました。さらに視点に関するチェック2つと整合性チェック1つを新たに追加しました。
`XP3` named-peak 再判定	2つの質問文を説明書の内容に合わせて修正しました。また基準となる解答も更新され、禁止単語リストも絞り込まれました。

ボーナスセット（優秀なモデルのみが利用可能／標準ボードには含まれません）

ケースと更新内容	変更点
ボーナスコードパック（3ケース）新しい回答	短いコードでPythonのモジュールを呼び出して作業を行っても満点が与えられてしまう抜け穴を塞ぎました。ただし既存の保存済み回答ではそのような実装は使われていませんでした。3つ目のケースではテスト用入力データが仕様通りに送信されるようになりました。
ボーナス執筆パック新しい回答	あるターンでのルールとして、定められた挨拶文や締めの言葉は例外となる旨が明確に記載されるようになりました。
ボーナスチャットパック：判定用質問再判定	事実に関する情報は話し手の視点から評価されるよう文言を修正し、複合的な内容を含む質問も分割しました。保存済み回答がないパックについては再実行の必要はありません。
ボーナスチャットパック：ストーリー修正新しい回答	各ケースの開始時点でのストーリー履歴に4つの修正を加えました。具体的には日付、ユーザーのキャラクターが代弁するターン、帳簿の長さ、年齢などです。現時点ではどのモデルもこれらのパックを利用できていないため、再実行は行われていません。
ボーナス成人向けロールプレイパック再判定	各説明書に記載されている要件を単一の判定用質問として追加しました。また複合的な内容を含む質問も分割処理を行いました。

削除された項目

ケースと更新内容	変更点
5つの安全対策用プローブ削除	要求を拒否した場合に加点される仕組みのプローブです。これらは標準ボードには含まれていなかったため、採点結果に影響はありません。

既知の制限事項

レビュアーはモデルでした。 2名の独立した読み手による評価、および事前に保存された正解例との照合により多くの問題が発見されましたが、すべてを捉えきれたわけではありません。上記のTZ20の問題も両方の読み手とも見逃していました。今後も同様の問題が見つかることが予想され、その都度同じ方法で修正していく予定です。
意図的に放置された問題もあります。 CL5からCL7にかけて存在するいくつかの参照解において、実際にはテストでは到達し得ない入力値に対して誤った結果が出ています。また、ツール利用時の引数チェックが部分文字列単位で判定されているケースもあります。これらは現時点では保存済みのスコアに影響を与えず、修正しても無駄な再実行しか生じません。次回のコンテンツ更新時に修正する予定です。
採点処理の時間制限について。 保存されている13件のコード解答が、テストの時間制限に引っかかったために失格となりました。そのうち7件はCL8の速度テストで発生しています。中には本当に処理が遅いケースもありますが、それらを見分けるためにはアイドル状態のマシンで再採点を行う必要があり、その際には4.5というコストがかかります。各ケースのペナルティは最大でも約0.06ポイント程度ですが、Qwen3.8 27B Twin Turbo FableによるCL7の解答のみは最大で約0.6ポイントに達します。
スコアの誤りが1件残っています。 TZ16において、ある小規模なモデルが出した意味不明な返答に対しても採点基準を満たしていると判定されてしまいました。これにより保存済みの記録が1件だけ誤った状態になっています。修正するには各モデルごとにそのケースを再実行する必要があるため、次回のコンテンツ更新時に対応することにしています。
判定を行うモデルが1つだけです。 チャット機能および成人向けテストは依然として単一の判定用モデルに依存しています。質問文を言い換えても、判定モデルの回答の信頼性自体は変わりません。
CrucibleForgeの入手方法について。 スイート4.1はCrucibleForge 4.1.0と共に提供されます。CrucibleForgeはMakoBenchを動かすためのオープンソースエンジンです。

次に何が来るか

次のベンチ版は4.5になります。より強力な判定基準の導入、メインパックの修正、そして新しいボーナスパックも開発中です。また、別途用意されるアダルト向けテスト用の新しいパックも開発中でございます。

ご自身で再現してみてください

MakoBenchは、オープンソースであるCrucibleForge上で動作します。ご自身のモデルでCrucibleForgeを実行する方法では、自分のハードウェア上でモデルをベンチマークする手順を説明しています。新しくクローンした環境ではスイート4.1が実行可能です。マージン値の読み方についてはMakoBenchの仕組みをご覧ください。また、このデータセットはHugging Face上でも公開されています.

謝辞とお問い合わせ

2種類のリーダーパスはそれぞれOpenAIおよびDeepSeekのAPIを利用して実行され、採点にはAnthropic社のClaudeモデルが用いられました。審査用プログラムは当方の独自ハードウェア上で動作します。

もしまだ誤った判定があると思われる場合は、ぜひご連絡ください。投票ページにあるフィードバックフォームをご利用いただくか、makobench@laserlloyd.comまでメールにてお知らせください。該当するケースの内容やモデルの出力結果を教えていただければ、同じルールに基づいて再確認させていただきます。

MakoBenchチームより