文書化/記録

ベンチマークの仕組み、自身のモデルで同じテストを実行する方法、そしてこのテストスイートがどのように進化してきたかについて説明します。

スコアの伸び方

すべてのモデルが同一の標準テストを受けます。完全に正しく実行した場合、各カテゴリで10点が与えられます。あるカテゴリで90％以上のスコアを獲得したモデルには、さらにポイントが加算されるより難易度の高いボーナスパックが解放されます。各ベンチマークの改訂版には最大スコアの上限があり、新たなパックが追加されるごとにその上限も引き上げられます。トップレベルのモデルたちがあるパックをクリアし始めると、さらに難易度の高いパックが追加されます。こうすることで、小規模なローカルモデルから最先端のAPIまで、すべてのモデルに共通するテストが維持され、どのモデルもスコアの上限に達することはありません。

実行コスト

ホスト型モデルには「実行コスト」という項目があります（デフォルトでは表示されず、「列」から追加可能）。これは、プロバイダーが公表している料金体系に基づき、標準的なコードテストおよびチャットテストを1回実行する際に必要となる費用です。計算には各リクエストで送信・返送されるトークン数がすべて含まれます。ただしボーナスセットや再試行、判定処理（当社の自前ハードウェア上で実行される）、キャッシュやオフピーク割引などは考慮されていません。「〜」と記載されている場合は、プロバイダーがトークン単位での課金を行っていないため、定価に基づいてトークン数を算出したことを示します。「*」は一部のリクエストにおいて使用量データが返却されなかったことを意味します。ハイフンはモデルが当社の自前ハードウェア上で実行されたことを表します。

Built onおよび旧バージョン

各モデルには「Built on」というタグがあります。ホスト型モデルの場合は製品ライン名（例：Claude Opus）が記載され、ローカルモデルの場合は学習に用いられたベースとなる重みデータ名（例：Gemma 4 31B）が示されます。そのためファインチューニング版モデルも元となったモデルと並んで表示されます。フィルターボックスではこのタグおよびモデル名でも絞り込みが可能です。

「最新バージョンのみ」を選択すると、同じ製品ラインでより新しいバージョンがランキングに存在する場合、旧バージョンは非表示になります。このオプションはデフォルトで有効となっており、旧バージョンは最初から隠された状態です。無効にすればそれらも表示されます（この設定はブラウザに記憶され、非表示行へのリンクをクリックしても開くことができます）。旧バージョンが表示されている際には「古いバージョン」と表記されます。ファインチューニング版モデルは「Built on」欄に元となるモデルの名前が記載されるため、このフィルターの影響を受けることはありません。

MAX

あるテストカテゴリにおいて、すべてのセットで最高得点を獲得できるモデルには「MAX」というマークが付きます。このレベルを超えるとテストではモデル間の差異を判別できなくなるため、より難易度の高いセットが必要となり、その名称は該当行の詳細情報として記載されます。

ブロックされた応答

プロバイダーのコンテンツフィルターによって応答がブロックされる場合があります。モデルの行にはブロックされた回数が示され、詳細情報にもその旨が記載されています。ブロックされた応答は失敗した回答と同様に0点として扱われます。CrucibleForgeが各更新時においてトランスクリプトからこれらを自動検出するため、手作業なしでも今後の実行結果に反映されます。

なぜMakoBenchなのか？

ショートフィン・マコは「海の中で最も速いサメ」とよく言われます。Wikipediaによれば、瞬間的な速度は約74km/hに達するとされていますが、推定値にはばらつきがあり実測も困難です。私たちはこのテストスイートを迅速に実行できるよう構築しました。その裏側ではオープンソースエンジンであるCrucibleForgeが処理を行っています。