MakoBenchに実行コストの列が追加されます

この表には新しく実行コストという列が追加されました。ホスティング型モデルの場合、これはプロバイダーが公表している料金に基づき、標準的なコードテストおよびチャットテストを1回実行する際の費用を示しています。ここには送信されたトークン数や返信されたトークン数、思考処理にかかるコストも含まれます。

• 含まれていない項目：ボーナスセット、再試行回数、判定処理（これは当社の自社ハードウェア上で実行されます）、キャッシュ利用による割引やオフピーク時の割引などです。この数値は定価に近い金額となります。
• 数字の前に〜が付く場合：プロバイダー側でトークン単位での課金が行われていないため（定額プラン）、定価に基づいて料金を算出しています。
• 数字の後に*が付く場合：利用状況データが得られなかったリクエストもあるため、実際のコストより低めの数値になっている可能性があります。
• ハイフンが記載されている場合：そのモデルは当社の自社ハードウェア上で実行されました。したがって課金は発生していません。

同リリースではブロックされた返信に関する情報も記載されています。一部のプロバイダーではコンテンツフィルターが働き、返信を拒否することもあります。そのような場合、該当する行には「ブロック済み」というマークと詳細説明が付記されます。ブロックされた返信は失敗した回答と同様に0点として扱われます。CrucibleForgeでは、更新のたびにトランスクリプト内からこれらを自動的に検出するため、今後の実行結果にも自動的にマークが付きます。

ボードの更新情報二つ

• 最新バージョンのみを表示。 デフォルトでオンになっているチェックボックスにより、ボード上に新しいバージョンがある場合には古いバージョンが非表示になります。例えばClaude Opus 5は5.5のために非表示になります。ただしファインチューニング版は決して非表示にはなりません。各行には「Built on」タグもあり、ホスティング型モデルの製品ラインやローカルで使用するためのベースウェイト情報が記載されており、フィルターもそれに基づいて機能します。
• MAX. あるテストセットにおいて、モデルがすべての項目で最高得点を獲得した場合に小さな「MAX」マークが表示されます。ただしこのテストだけではそうしたモデル同士を区別できないため、その部分にはより難易度の高いテストセットが必要となります。

また、スマートフォンでも表が読みやすくなっています。モデル名は完全な形で表示され、長いファイル名の代わりに短い名称が使われています。さらに、表が横方向にスクロールする際にはヒントも表示されます。

詳細についてはドキュメンテーションおよびMakoBenchの仕組みをご覧ください。