文档/资料

基准测试的运作方式、如何在自己的模型上运行相同的测试，以及测试套件的演变过程。

评分机制如何扩展

所有模型都接受同一套标准测试；完美完成测试即可在每个类别中获得10分。若某模型在某个测试类别中得分率达到90%或以上，便可解锁难度更高的奖励包，从而获得额外加分。每个版本的基准测试都有固定的最高分上限；新增的奖励包会提高这一上限。当顶尖模型开始能够轻松完成某个奖励包中的任务时，我们便会推出难度更高的新包。这样一来，从小型本地模型到最先进的API模型，都能参与同一套测试，且无人能达到分数上限。

运行成本

对于托管型模型而言，存在“运行成本”这一指标（默认不显示；可通过“列”选项添加）：即按照服务商公布的定价标准，完成一次标准的代码与对话测试所需的费用。该数值是根据每次请求中发送和返回的令牌数量计算得出的。此数值未包含奖励包、重试次数、评分器所产生的成本（评分器运行在我们自己的硬件上），以及任何缓存优惠或非高峰时段折扣。符号“~”表示服务商并未按令牌数量计费，因此我们按官方定价估算了相关费用；符号“*”则表示部分请求返回的结果中缺少使用数据。短横线则表明该模型是在我们自己的硬件上运行的。

基于的基础模型与旧版本信息

每个模型均带有“基于的基础模型”标签：对于托管型模型而言，该标签指的是其所属的产品系列，例如Claude Opus；对于本地模型而言，它指的是训练该模型所使用的权重文件，比如Gemma 4 31B。经过微调后的模型也会与其原始基础模型一同列出。筛选框同样支持根据该标签或模型名称进行过滤。

“仅显示最新版本”这一选项的作用是：当某个厂商发布了同一系列的新版本且新版本也获得了相应排名时，旧版本会被隐藏。该选项默认处于选中状态，因此旧版本起初不可见；取消勾选后即可查看它们（系统会记住您的选择，即便模型被隐藏，对应的链接依然可以打开）。在显示状态下，旧版本所在行会标注“旧版本”字样。经过微调的模型在“基于的基础模型”栏中仍会显示其原始基础模型的名称，且绝不会被该筛选框隐藏。

MAX标识

若某模型能在某个测试类别的所有子测试中均取得最高分，则会标记为“MAX”。由于在此分数之上测试已无法区分不同模型间的优劣，因此我们需要为该类别设计难度更高的测试内容；相关信息也会记录在该模型的详情栏中。

被拦截的回复

服务商的内容过滤器可能会拦截某些回复。对应模型的行中会显示被拦截回复的数量，详情栏中也会有相应说明。任何被拦截的回复均计为0分，与回答失败的情况相同。CrucibleForge会在每次刷新时自动从转录文本中识别出这些回复，因此后续测试无需人工操作即可完成标记。

为何命名为MakoBench？

短鳍鲭鲨常被誉为海洋中最快速的鲨鱼：维基百科记载其瞬时游速最高可达约74公里/小时，不过不同资料间的数值有所差异，此类数据也难以精确测量。我们开发这套测试套件的目的便是实现快速运行，而开源引擎CrucibleForge则承担了底层运算工作。