マコベンチスイート4.0：ノミナル20、クラスおよびリーン

かんたんに言うと: MakoBenchは、当社が公開している言語モデルの評価用プラットフォームです。Suite 4.0が現在使用されているテストセットとなります。主な変更点としては、従来の100点満点制から「Total」スコアが「Code」と「Chat」の合計値となったことです（それぞれ完璧な実行結果で10点ずつ得られるため、理論上の最高得点は20点となり、ボーナスセットもこれに加算されます）。また、すべてのモデルが再評価されました。このページでは、Suite 3.0以降で何がどう変更されたか、その理由も記載していますので、以前の数値が今でも意味を持つかどうかをご確認いただけます。さらに、公開されているCrucibleForgeのリリース内容についても説明し、それ以外の情報は別途示しています。

GitHub で CrucibleForge を開く

2026年11月10日をもって、スイート4.1がこのスイート4.0に取って代わりました。 詳細は MakoBench 4.1：主な変更点をご覧ください。スイート4.0の情報はスイート履歴に記録されています。

スイート4.0は、CrucibleForge 4.0.0によって作成されたMakoBenchのテストセットであり、4.0.1はコンテナおよびプラットフォーム関連の修正版です。両方とも公開リリースとなっています。主な変更点としては、「Total」の値が「Code」と「Chat」の合計で20となるようになったこと、そして各テストがその基準に沿って再実行されたことです。100点満点だったスイート3.0のスコアもスイート履歴に記録されていますが、比較はできません。

要約

「Total」の値は原則として20です。 Codeが10点、Chatが10点というのは標準テストを完璧にこなした場合のスコアです。ボーナステストを実施すれば、Code・Chat・Totalの各値はそれぞれ10点以上になり得ます。各ベンチマークバージョンには最大値が定められており、新しいパックによってその上限が引き上げられます。
処理速度が向上し、ノイズも減少しました。 最も時間がかかり、ノイズの多かったテストが除外され、長時間に及ぶチャットセッションも短縮されつつ各チェックは維持されています。
新たに2つの列が追加されました： 「Class」（S、A、B、C）および「Lean」（チャット寄り／コード寄り／バランス型）。
NSFWテストは表の主要部分から外されました。 これらは表の脇に配置されており、「Total」の計算には含まれません。
一部のハーネス関連作業はまだ公開されていません。 その旨が記載された形でページの下部に一覧表示されています。

スイート4.0には何が含まれていますか？

ボード上のスイート情報は「4.0.1」とコンテンツハッシュ（e3d1c6fb）となっています。このハッシュ値は、スコアに影響を与えるケース内容が変更された場合のみ変化します。これによりボード側では該当行が古くなったことを把握できます。2026年11月4日時点でボード上にある37モデルのうち、32モデルには完全なスコアが記載されています。一方、5つの小規模モデルはまだ部分的な情報しかなく、「Total」の値はありません。各行のスコア付けは4.0.0または4.0.1の下で行われており、両者の違いはテストインフラのみです。5行については依然として「3.9半分」の状態が続いており、ボード上でもそのようにフラグ付けされています。古い変更内容から順に記載されています。

4.0.0: “lite”、2026年10月31日リリース

「Total」は「Code」と「Chat」の合計値です。 Codeの構成要素は関数作成（5ポイント）、予測およびバグ探し（2.5ポイント）、ツール利用（2.5ポイント）となります。推論関連の項目や、実行に時間がかかったりノイズが多かったりするテストは除外され、個別の「推論」サブスコアもなくなりました。Chatの評価基準は変わらず、セッションもより短くなっています。
NSFW関連のスコアは評価表の横に表示されるだけで、合計値には加算されません。 NSFW用の専用タブ「+NSFW Bench」も用意されています。
「Class」と「Lean」です。 ClassはTotalスコアから大まかに分類した等級で、16点以上でS、13点でA、10点でB、それ以下でCとなります。LeanはモデルのChatおよびCodeのスコアが評価表の中央値からどれだけ離れているかを比較し、1.5ポイント以上の差がある場合にフラグを立てます。
「オーバーフロー」ルールです。 出力トークン数が制限を超えた行は、再試行後でも評価表上では失敗とみなされます。
1回のみの再試行処理です。 各モデルごとに再試行するのではなく、トークン数が制限を超えた行については、すべてのモデルが1回ずつ実行した後で、65,536トークンまでの範囲で1回だけ再試行されます。
実行時間の短縮です。 コーディングテストは各問題につき1回だけ実行され、複数ターンのチャットセッションも隣接するユーザーの発言を統合することで短縮されています。ただし、すべてのチェック項目や評価用の質問はそのまま残されています。またプランナーは、モデルが過去に実行した結果からその実行時間を推定するようになりました。
ライセンス：MIT-0です。 3.7.0までのリリースではMITライセンスが使用されていました。
新たなボーナスセットの導入です。 各サブスコアごとに難易度の高い問題群が用意されており、これを解くことで10ポイント以上を獲得できるようになります。

4.0.1：コンテナおよびプラットフォーム関連の修正（2026年11月1日）

4.0.1（タグは v4.0.1）では、コンテナイメージのスモークテストの問題が修正されました。cases verify 処理は、公開されているイメージのようにノードが存在しない場合でもクラッシュせず、そのケースを「スキップされた」と報告するようになりました。変更履歴にはmacOSおよびWindows関連の修正内容や SECURITY.md に関する情報も記載されています。これらの修正コミットはタグ作成後に公開されているメインブランチ上に存在しますので、新しくクローンを作成すれば確認できますが、タグ自体には含まれていません。どのケースの内容やスイートのハッシュ値も変更されていません。そのため、4.0.0と4.0.1のスコアは同じ表に記載されています。

このスイートの判定を行うのは、当社所有のGPUマシン上で動作するGemma 4 31B（検閲なしの“heretic”ビルド、Q8形式）です。DeepSeek FlashはCrucibleForgeにおける予備的な判定エンジンの候補であり、ここで使用されている判定エンジンではありません。各スイートごとに判定エンジンが指定されており、変更があるたびにこのページも更新されます。

まだリリースされていません

以下の内容は、私たちが所有するCrucibleForgeのコピーに含まれています。これらは公開リリース版には含まれていないため、ツールを新たにクローンしても利用できず、公式な変更履歴にも記載されていません。

より公平なジャッジ用質問の分割：アダルト向けロールプレイセッションにおいて、あるジャッジ用質問が一度に4つの事項を尋ねていたため、1つだけ情報が欠けていても完全な不正解と判定されていました。そこでこの質問を個別の質問に分割し、既存の回答を再生成せずに再ジャッジを行いました。これは4.0.1には含まれておらず、公式な変更履歴にも記載されていません。
推論内容の再送機能：一部のプロバイダーでは、モデルの推論過程を会話と共に送り返す必要があります。この機能はプロバイダーごとに有効/無効を切り替え可能で、デフォルトではMiniMaxのAPIを利用するプロバイダーのみで有効になっています。
ジャッジ用質問ごとに条件を1つずつ設定：複数の条件が含まれるジャッジ用質問を拒否するためのチェック機能です。
適合性チェック機能：モデルを本番利用する前に、ごく少ないコストでそのリクエスト設定が正しいかどうかを検証し、各データ行がどの設定下で測定されたかを記録するコマンドです。
CrucibleForgeのボード上にある全列用フィルタメニュー：CrucibleForge自体のボード内のすべての列に対して利用可能なフィルタ機能です。MakoBenchのテーブルにも同様の機能が備わっています。

これらが正式にリリースされるまで、あくまで私たちの試験用機能としてご理解いただき、実際に利用可能な機能とは考えないようお願い申し上げます。

これが数値に与える影響について

比較はスイート4.0内のスコアのみで行ってください。3.0版のリスト（100モデルのうち32モデル）はスイート履歴に記載されています。
ケース内容に変更がなかったため、4.0.0と4.0.1の間でスイート番号は変わっていません。
順序を確認する前にマージン情報もご覧ください。その確認方法についてはMakoBenchの仕組みをご参照ください。

公開されている変更履歴はCrucibleForgeリポジトリに記載されています。