MakoBenchがテストするもの、そしてテストしないもの

GitHub で CrucibleForge を開く

MakoBenchの役割はただ一つです。それは、一般的なテキストモデルが私たちがモデルを利用する2つの用途においてどの程度優れているかを示すことです。なぜなら、スコアというものは、あくまでそのテストが測定するために作られたモデルにとってのみ意味を持つからです。

私たちがテストするもの

私たちは、入力がテキストで、主な出力もテキストであり、チャット形式の指示や会話に応答できるモデルをテストしています。具体的には以下のようなモデルが対象です：

• 任意のサイズのチャットモデルおよびインストラクトモデルで、ローカルで実行されるものやホスティングされたAPI経由で利用されるものも含まれます。
• 推論用モデルも対象で、作成者が推奨する方法で実行され、他のモデルと同じ出力基準が適用されます。
• コーディング機能も備えたチャットモデルです。これらはコードテストおよびチャットテストの両方を受けますが、チャットスコアが低くても排除されることはありません。
• 上記モデルの検閲なし版、機能削除版、ロールプレイ用に微調整されたバージョンも対象です。
• ビジョン・言語統合型のチャットモデルは、テキストテストのみが実施されます。これらについては画像処理能力を測定していないため、該当する行には「テキストテストのみ」と記載されています。

テスト内容はコードとチャットの2種類で、それぞれ標準テストにおいて10点満点が与えられ、合計点は両者の合計となります。コードテストでは実際に動作するPython関数の作成や、コードスニペットの出力予測、ツールを利用したバグ探しや適切なツール呼び出しが求められます。チャットテストではロールプレイや対話が課題で、事実を記憶したりキャラクターを維持したり、指定された執筆ルールに従った会話を行う必要があります。単純な質問応答や一回限りの指示実行能力だけを測るテストではないため、優れたアシスタント機能を持ちながらチャットスコアが平凡なモデルも存在します。別途、成人向けコンテンツに関するテストも用意されており、これは最後のタブにありますが合計点には加算されません。

私たちがテストしないもの

• テキストを出力しないモデル。 画像、動画、音声、音楽の生成モデルや、3D・CAD・シーンの生成モデルなどです。こうしたモデルに対してはスコアを付けることができず、どんな数値も無意味なものとなります。
• ベクトルやラベルを出力するモデル。 埋め込みモデル、再ランク付けモデル、分類器、安全性・ガード機能や報酬関連のモデルなどです。
• 単一タスク専用のテキスト処理ツール。 翻訳モデル、キャプション生成ツール、音声認識やOCRツール、要約や抽出のみに特化したモデルなどです。これらは特定の用途において優れていますが、CodeやChatでは評価できません。
• チャット用テンプレートを持たないモデル。 チャット用のテンプレートがないモデルは、テストスイートから送られるプロンプトに応答できません。
• CrucibleForgeで実行不可能なモデル。 エンジン側では、モデルと正しく通信できるかどうかを事前に確認します。その確認に失敗した場合、そのモデルは採用されません。

上記のいずれかに該当するリクエストの場合、投票ページに簡単な説明を添えて拒否処理を行い、そのモデルは評価委員会に届くことはありません。モデルの規模が大きすぎるという理由で拒否することは決してありません（その点については後述します）。自動的に選定されるモデルも同様に、利用許諾条件が緩やかで制限のないものである必要があります。ただし、私たち自身で任意のモデルを追加することも可能です。

行がランク付けされるための条件

• すべてのテストが実行されたこと。 一部のみが実施されたモデルでは数値は表示されますが、合計値もランクも示されません。
• 互換性チェックに合格していること。 もし失敗していた場合、CrucibleForgeの設定によってモデルが正しく測定されていない可能性があります。その場合、該当行は警告マーク付きで「暫定的」と表示され、ランクは付与されず、再度テストが実施されます。
• モデルごとに行が1つだけ存在すること。 ローカルモデル用の標準的な量子化レベルはQ8_0です。もしQ8_0が利用できない場合はQ6、次いでQ5を使用します。その旨も行内に記載されます。Q5より下のレベルは使用しません。同じホストされたモデルでも別の量子化レベルやより高速なサービス層が存在する場合、それらは「他のバリエーション」としてメイン行の下に表示されますが、ランク付けの対象にはなりません。
• Q5未満の古い行も引き続き表示されること。 その量子化レベルが記載され、行の詳細情報として「Q5未満」という注記も付きます。ただし、そのモデルが以下の条件を満たす場合にのみ、標準的な量子化レベルで再テストが行われます：まずは自身のベンチマーク（メインベンチまたはアダルト向けベンチマーク）でトップになっている、次に見出し列で最上位になっている、あるいはサイズクラス内で最も優れている場合です。
• ホストされたモデルの行にはテスト日付が記載されること。 プロバイダー側で同じ名前のモデルが変更されたり廃止されたりする可能性があるため、ホストされた行はあくまでその時点でのスナップショットとなります。

当社の試験装置でテスト可能なモデルと、資金が必要なモデルについて

MakoBenchは、4枚のグラフィックスカード――RTX 5090が2枚、RTX 3090が2枚――を搭載した家庭用PC上で動作します。合計で112GBのビデオメモリがあります。私たちはすべてのモデルをQ8_0精度でテストし、Q8_0では収まらない場合にのみQ6、さらにその次にQ5精度へと切り替えています。実際には、約1,350億パラメータまでのモデルを、32,000トークンのコンテキスト量でテスト可能です。

より大きなモデルには「ローカルではテスト不可能」と記載されていますが、決して拒否されているわけではありません。もしホスティングサービス側で8ビット以上の精度でそのモデルを実行できる場合、ユーザーの方々がテスト費用を支援していただくことが可能です。資金目標額は、私たちが想定する最大コストの約4倍に設定しています。これは、リモートでのテストにはセットアップ作業や2回目の試行の可能性、当社の機器での検証・採点作業も含まれるためです。また支払い手数料もその中から差し引かれます。ホスティングサービス側で該当モデルが提供されていない場合は「現時点ではテストが困難」と記載され、資金目標は設定されません。ただし投票自体は有効であり、状況が変われば実際にテストを行います。資金が集まったにもかかわらずテストが実行できなかった場合や、モデルが当社の装置で問題なく動作することが判明した場合には、その資金はベンチマークの運用費用に充てられます。資金の有無によってスコアが変わることはありません。特定のモデルに寄付を行うと、そのグループ内での順位が上がりますが、スコア自体は変更されません。

なぜこれほどまでに注意を払うのか

あらゆるものをランク付けするベンチマークでは、実際にはテストで測定できない項目までもが順位付けされてしまいます。意味を持たないスコアというのは、そもそもスコアがないよりも悪いのです。テストに適合するモデルのみを掲載し、妥当な測定結果のみでランク付けを行うことで、掲載されている2つの数値同士を比較できるようになるのです。スコアの算出方法や読み方については、「MakoBenchの仕組み」をご覧ください。また、モデルをテストしてもらいたい場合は、「投票ページ」をご利用ください。