マコベンチ：メインベンチ

• Total = Code + Chat. 10 each is a perfect run of the standard tests, so 20 is the nominal top; bonus packs add points on top, up to the suite's most possible (a row's bars run to it).
• ± 合計値＝テストケースにおけるブートストラップの90％区間の半分に相当します。この値よりも近いモデル同士は統計的に同等とみなされます。
• 各モデルは1回ずつ実行されるため、±の値は実際に抽出されたケースを示しており、実行ごとのばらつきを表しているわけではなく、実際の不確実性を過小評価しています。同じ重みを持つケース（クォント型とサービング・ティア型のペア）同士でも、ここでは最大2.4ポイントの差が生じます。1〜2ポイント程度の差は同点と見なしてください。
• クラスは、総合的に見て粗い帯域です：S≥16、A≥13、B≥10、C≥0。
• 差がボード中央値から1.5ポイント以上ある場合は「リーン」＝チャット寄りまたはコード寄りとなり、そうでなければバランスしているとみなされます。
• tok/s＝世代生成速度の中央値。同じホストで実行されたモデル間でのみ比較可能。
• Quant＝私たちが評価した量子化方式です。Q8_0がローカルモデルにおける標準的な量子化方式であり、その他の量子化方式は行の詳細情報において非標準の量子化方式として記載されています。API＝プロバイダーによって提供されるホスト型モデルです。
• Run cost = what one run of the Code and Chat tests cost at the provider's price, generation only. ~ = estimated from token counts at list price. * means some requests came back without usage data, so the figure may be low. — = run on our own hardware, so no bill.
• Nブロック＝プロバイダーのコンテンツフィルターがN件の返信をブロックした。各返信のスコアはゼロとなる。
• モデルごとに1行ずつ：同じ重みを持つ他の量子化設定やサービングティアは、メイン行の下に表示され（矢印を開く）、順位付けはされません。
• ⚠ 暫定値＝ランクなしで表示されています。その理由は各行に記載されています（互換性チェックに失敗した、テストが完了していない、またはボーナスパックが再実行待ち）。再実行可能な行は、再実行後にランクが付与されます。Q5未満でテストされた行や、あらゆるテストに適さないほど小さいモデルは、引き続き無ランクのままです。
• 「合計」欄のダッシュ記号は、そのモデルの製品群（コード、チャット、またはボーナスパック）の一部がまだ採点されておらず、ランキングに入っていないことを意味します。

初めてご利用ですか？ テストが何を測定するかをご覧ください。