MakoBenchスイートの履歴：以前のバージョン
- カテゴリ
- AIとローカルLLM
- 公開日
- 2026年11月5日
- 更新日
- 2026年11月10日
- 著者
- Jacob Lloyd — プロジェクト完了後、AIの支援を受けて執筆
- 読了時間
- 約2分で読めます
かんたんに言うと: MakoBenchのスコアは、それを生成したテストバージョンに対してのみ意味を持ちます。テストが変更されると、私たちはモデルを再実行し、古いボードを元のまま維持します。このページには、各スイートのバージョンと、そのボードの場所が記載されています。
MakoBenchの背後で実施されるテスト内容は時折変更されます。スコアというものは、それを算出したテストスイートに対してのみ意味を持つため、私たちは異なるスイート間で数値を比較することはありませんし、古いテストボードをこっそり書き換えることも決してありません。
なぜスイートが変更されるのですか？
実行に時間がかかりすぎたり、結果が不安定だったりするテストは削除し、不適切だった問題点も修正します。また、モデルが進化するにつれてより難易度の高い問題セットも追加していきます。何らかの変更によってスコアに変化が生じた場合、すべてのモデルを新しいスイートで再実行します。その後、以前のスイートはそのまま保持され、独自のマージンやスケール、作成日時もそのまま残ります。
以前の版の掲示板はどこにありますか？
メインベンチ、+NSFWベンチ、およびテスト用ページのそれぞれの上部にスイートバージョンのメニューがあります。そこから以前のバージョンを選択すると、その時点でのスイートの様子がページに表示されます。
バージョン一覧
- Suite 4.1（現在版）。修正版となります。新しいテストケースは追加されておらず、全ての回答キーも徹底的なレビューの後で修正されました。詳しくはメインベンチをご覧ください。
- Suite 4.0。 CodeおよびChatの合計得点となり、標準テストではそれぞれ10点ずつ配点されます。2026年11月10日にSuite 4.1に置き換えられましたので、モデル比較は同一スイート内のみで行ってください。ページはメインベンチ、+NSFWベンチ、テスト内容となります。
- Suite 3.0。 旧テストでは100点満点で採点されていましたので、これらの数値をSuite 4.0の数値と並べて比較することはしないでください。アーカイブされたリストには32個のモデルが含まれており、2026年9月23日にアーカイブしたリストを元に作成されました。ページはメインベンチ、+NSFWベンチ、テスト内容となります。
両者の間で何が変わったのでしょうか？
現在のスイートに関する説明はMakoBench 4.1：変更点に記載されており、その前のバージョンについてはスイート4.0：変更点をご覧ください。スコアに変更がなかったリリースを含め、エンジンの各リリース内容については、GitHub上のCrucibleForgeの変更履歴をご参照ください。
関連情報：MakoBenchの仕組み。