MakoBench套件4.0：标准版20、Class版和Lean版

简单来说： MakoBench是我们公开的语言模型评测平台。Suite 4.0则是当前使用的测试套件。主要变化在于：评分方式现在为“代码能力”与“对话能力”两项之和（每次完美测试各得10分，因此满分为20分；额外奖励分数则在此基础上累加），而非原先的百分制。所有模型均重新接受了测试。本页面列出了自Suite 3.0以来发生的变化及其原因，以便您了解哪些旧有评分指标仍然具有参考价值。此外，页面还介绍了公开发布的CrucibleForge版本，并对其他版本做了标注。

前往 GitHub 上的 CrucibleForge

2026年11月10日起，4.1版测试套件取代了4.0版。 详情请参阅 MakoBench 4.1：有哪些变化。4.0版测试套件的相关信息则保存在测试套件历史记录中。

在4.1版发布前，4.0版一直是MakoBench的现行测试套件，该版本由CrucibleForge 4.0.0生成；后续的4.0.1版本则是对容器与平台相关问题的修复补丁。两者均为公开发布的版本。主要变化在于：“总分”现在等于“代码得分”加“聊天得分”，理论最大值为20，所有测试项目均按此标准重新评分。原3.0版测试套件的分值以百分制计算，相关数据也保存在测试套件历史记录中，但已无法与当前评分体系进行对比。

简而言之：

理论上的总分最大值为20。 代码得分10分加上聊天得分10分即代表完美完成所有标准测试。额外的奖励测试还能带来额外加分，因此代码、聊天及总分都有可能超过各自的满分值。每个版本的评分上限都是固定的；新测试包会提高这一上限。
运行速度更快且干扰更少。 原先耗时较长且干扰较大的测试项目已被移除，同时各聊天会话的时长也有所缩短，但测试质量并未因此下降。
新增两个评估维度： “等级”（S、A、B、C）以及“偏向性”（偏重聊天/偏重代码或两者均衡）。
不适宜公开的内容测试已移出主评分表。 这些测试现位于表格旁侧，且不会计入总分之中。
部分测试框架相关功能尚未发布。 此类内容列于页面底部并带有相应标注。

4.0套件包含什么内容？

面板上显示的套件版本号为4.0.1，并附有一个内容哈希值（e3d1c6fb）。只有当影响评分的案例内容发生变动时，该哈希值才会改变；这样面板就能据此判断某行数据是否已过时。在2026年11月4日，面板上共有37个模型，其中32个已获得完整的评分；还有5个小型模型的数据尚不完整，因此没有“总计”评分。这些模型的评分是在4.0.0或4.0.1版本下完成的，这两个版本仅在测试基础设施方面存在差异。另外有5行数据仍显示为3.9版本的评分，面板上也对此做了相应标记。更改时间越早的条目排在前面。

4.0.0：“lite”版本，发布于2026年10月31日

“Total”评分包含代码与聊天两部分。 代码部分包括函数实现能力（5分）、预测与漏洞排查能力（2.5分）以及工具使用能力（2.5分）。原先存在的推理相关测试以及一些耗时较长或结果不稳定的测试已被移除；独立的“推理”子评分也不再存在。聊天部分的评分标准保持不变，不过每次测试的时长有所缩短。
NSFW评分仍单独显示，不会被计入总分。 这些评分有专门的标签页，即“+NSFW Bench”。
“Class”与“Lean”评分机制。 “Class”是根据“Total”总分划分的等级：16分及以上为S级，13分为A级，10分为B级，低于10分为C级。“Lean”则用于比较模型在聊天与代码方面的得分与基准值的差距；若差值达到1.5分或以上，则会标记为异常。
溢出规则。 若某次测试超出了输出预算限制，即便经过重试，该测试仍会被视为失败。
仅一次重试机会。 对于超出预算限制的测试，所有模型都完成各自测试后，会统一再进行一次重试，且此次重试的令牌数量上限为65,536个。
测试时长有所缩短。 代码类测试每道题只运行一次；多个多轮对话测试也通过合并相邻的用户输入而缩短了时长，但所有检查与评判环节均予以保留。现在规划器能根据模型以往的表现来预估其运行时间。
许可证：MIT-0。 此前3.7.0及之前的版本使用的均为MIT许可证。
新增奖励机制。 每个子评分类别下均设有一组难度更高的测试题，只有完成这些题目才能获得10分以上的高分。

4.0.1：容器与平台相关修复（2026年11月1日）

4.0.1版本（标签为 v4.0.1）修复了容器镜像的冒烟测试问题：cases verify 在缺少节点的情况下不再崩溃——这在已发布的镜像中原本会发生。此时该测试会将相关用例标记为“已跳过”。此版本的更新日志还列出了针对 macOS 和 Windows 的修复内容，以及 SECURITY.md 这一联系方式。这些后续提交内容位于该标签之后的公开主分支上，因此重新克隆代码库后也能看到它们，但标签本身并未包含这些内容。所有用例内容及套件哈希值均未发生任何变化，正因如此，4.0.0与4.0.1版本的得分才会出现在同一排行榜上。

本次测试所使用的评判模型为 Gemma 4 31B（未经审查的“异端”版本，Q8量化格式），运行于我们自用的 GPU 服务器上。DeepSeek Flash则是 CrucibleForge 中的备用评判模型，并非此处使用的评判工具。每个测试套件均对应一个特定的评判模型，本页面也会在评判模型发生变更时同步更新。

尚未发布

以下内容来自我们自己维护的 CrucibleForge 副本。它们并未包含在公开版本中，因此重新克隆该工具后也不会出现这些内容，公共更新日志中也没有提及它们。

更合理的评分规则。 在一次成人角色扮演测试中，有一个评分问题同时询问了四个要点；结果导致那些虽然回答了三个要点但遗漏了一个细节的回复也被判定为完全错误。我们将其拆分成多个独立的问题，并重新对已有的回复进行了评分，而无需重新生成这些回复。此改动不属于 4.0.1 版本的内容；公共更新日志中也没有记录。
推理过程回传功能。 某些服务提供商需要模型在对话结束后返回其推理过程。我们为此提供了针对各服务提供商的开关设置；目前该功能仅在指向 MiniMax API 的服务提供商上默认开启。
每个评分问题仅包含一个要求。 新增了一项检查机制，用于排除那些包含多个评分条件的复合式评分问题。
一致性校验功能。 这是一个测试命令：在正式对模型进行测试前，它会通过几次简单的调用来验证模型的请求设置是否正确，并记录下各项测试分别是在何种设置下完成的。
CrucibleForge 面板中各列均设有筛选菜单。 MakoBench 表格也有自己的筛选功能。

在这些功能正式发布前，请将其视为我们的内部测试内容，切勿当作可实际使用的功能来使用。

这对各项数值意味着什么

仅比较 4.0 套件中的得分。3.0 套件（包含 100 个模型中的 32 个）的相关信息可在套件历史记录中查看。
由于测试用例内容没有任何变化，因此从 4.0.0 到 4.0.1 版本，套件编号并未变动。
在排序前请先阅读相关说明。具体操作方式详见 MakoBench 的工作原理。

公开的更新日志则位于 CrucibleForge 代码库中。