ニュース・更新情報
スイート間で何が変わったか、ボードにどのような新機能が追加されたか、そして開発を通じて私たちが学んだこと。使い方に関するページはドキュメントにあります。
私のLLMベンチマークスコアを歪ませた4つのハーネス不具合
新しく公開されたモデルが、従来のモデルよりも低いスコアを記録しました。この数値はほぼ正確で、私たちのテストハーネスが最大1.7ポイント分の減点要因となっていたのです。ここではその4つの不具合とそれぞれがもたらす影響、そして自分のハーネスをチェックできる無料のツールキットについてご紹介します。
モデルのベンチマーク、ユースケース、およびセットアップ：2026年11月
2026年11月時点でのモデルのベンチマーク、利用例、およびセットアップ方法について：コーディングやチャット用途、あるいはご自身のハードウェア向けに11種類のモデルからどれを選ぶべきか、5段階からなるコーディング環境の設定手順、そしてプロジェクトにかかる費用などを紹介します。Claude Fable 5.2の場合、1回の標準的な実行で14.87ドルが必要であり、DeepSeek V4.1-Flash-1017では0.14ドルとなります。
Claude Fable 5.2のベンチマーク：どの点で優れており、どの程度のコストがかかるか
Claude Fable 5.2は、MakoBench 4.1において25.2点を記録し、同点で首位となった作品の一つです。ここではチャット性能が最も高く（12.7点）、エージェント機能も完璧で、どんな要求にも応答してくれます。実行費用は1回あたり14.87ドルです。
MakoBench 4.1：何が変わったか
スイート4.1は、新しいケースのない修正リリースです。2名の独立したモデルレビュアーがすべての公開解答キーを確認した結果、約190問が正しいことが確認され、ボードも再実行されました。両方のボードで採点された38モデルのうち31モデルにおいて、ChatおよびCodeの両方でスコアが上昇しました。
マコベンチスイート4.0：ノミナル20、クラスおよびリーン
Suite 4.0では、CodeとChatのスコアがパーセンテージではなくそれぞれ10となり、最も遅くてノイズの多いテストが除外され、ClassとLeanが追加されました。以下に、一般公開版で変更された点、および私たちが所有するツールのコピーには含まれているがまだリリースされていない機能を記載します。
私のAIエージェントが、私のAIエージェント用のベンチマークツールを作りました
私たちのコーディングエージェントが「bench-llm」というプログラムを作成しました。これはPythonで1,660行からなり、LM Studio内でローカルモデルのベンチマークを行うものです。2週間ほどで、私たちの全モデルが5点満点を獲得したため、それに代わって「CrucibleForge」を導入しました。こちらはGitHub上で無料公開されており、276件のテストケースがあり、そのうち166件が難易度の高いものです。
MakoBenchに実行コストの列が追加されます
MakoBenchボード上でホストされているモデルでは、標準的なコードテストおよびチャットテストを1回実行する際の費用が表示されるようになりました。プロバイダーのコンテンツフィルターによってブロックされた応答は、該当行にマークされ、スコアは0となります。
メインベンチを開く ここの各ページの裏にある番号です。