MakoBench 4.1：有哪些变化

简单来说： MakoBench是我们公开的语言模型评测平台。Suite 4.1并未新增任何测试案例。在两名独立的模型评审员仔细审核了所有公开的答案后，我们又将每个答案与系统存储的标准答案进行了比对以予以修正。那些要求超出任务范围的回答标准被适当放宽；两个代码类题目的答案也得到了修正。此外，一些存在缺陷的测试用例也被修正，而那些允许因拒绝作答而得分的测试则被取消。在主评测集上，我们对所有仍能运行的模型重新执行了五次测试；其中一道题目则由评审员根据存储的回复重新打分（另外还有四道题目属于独立的成人测试范畴）。其余题目的得分则依据存储的标准答案重新计算。本页面将详细说明各项变动情况，并展示各模型得分的变化趋势。

前往 GitHub 上的 CrucibleForge

4.1版本属于修正版。该版本并未新增任何测试案例，只是修正了现有案例的答案。两名独立的模型评审员逐一审核了所有公开的答案；我们还将他们的判定结果与系统中已有的答案进行了比对，最终确认了约190个问题需要修正。除两个在“已知限制”中列出的小例外，其余所有会影响得分的问题均已得到修正；另外还有一些即便修正也不会改变得分的问题，则被记录下来以备下次内容更新时使用。目前4.1版本已正式启用：在38个参与测试的模型中，有31个在4.0与4.1版本中的得分均有所上升，5个得分下降，2个则保持不变。聊天类与代码类模型的得分变动幅度也相近。在4.1版本中，GPT-6.1 Terra、Claude Fable 5.1、DeepSeek V4 Flash、GPT-6 Luna以及DeepSeek V4 Pro这些模型在排名上并列第一。至于Kimi K3.1 Pro、Grok 4.7、Claude Opus 5.5、Claude Sonnet 5.5、Grok 4.6、Kimi K3、Claude Opus 5以及Claude Sonnet 5这些模型，由于其服务提供商的API额度已用尽，暂时无法运行额外测试包，因此目前未参与排名；不过它们的标准测试结果已经完整统计并展示在各自的行中。原先在4.0版本中排名前八的模型中，有4个在4.1版本中也因同样原因未参与排名。还有9个模型尚未生成完整的4.1版本总分，仅显示部分数据；具体原因可参见分数表下方的说明。

状态：4.1版本现已正式启用。 主测试平台上的排名表现已更新为4.1版本的数据。4.0版本的排名表则被完整保留在版本历史记录中。

简而言之：

所有公开答案均经过审核。 OpenAI的gpt-6.1-sol与DeepSeek V4 Flash两个模型各自独立审阅了全部63个测试案例。任何修改操作都必须在相关判定结果与既定答案、参考解法及隐藏测试内容比对无误后才能执行。
约190个问题被确认需要修正，另有约95项判定结果被驳回。大多数需修正的问题属于那些要求超出任务范围的检测项；还有一些即便修正也不会影响得分的问题则被记录下来以备下次更新使用。
两个代码类答案存在错误，还有两组测试数据存在疏漏。这些问题均已得到修正。
拒绝回答绝不能算作正确解答。原先那些会为拒绝回答行为加分的检测项现已被取消；这些检测项原本并未出现在正式排名中。
重新测试情况：共有5个案例获得了所有可运行模型的重新判定结果；另有1个案例是根据先前存储的回复重新评分的（此外还有4个案例属于独立的成人内容测试）。其余案例则直接根据既有的答案重新计分。
最终影响：在38个参与测试的模型中，有31个在4.0与4.1版本中的得分均有所上升，5个得分下降，2个保持不变。聊天类与代码类模型的得分变动幅度也相近。在4.1版本中，GPT-6.1 Terra、Claude Fable 5.1、DeepSeek V4 Flash、GPT-6 Luna以及DeepSeek V4 Pro这些模型在排名上并列第一。至于Kimi K3.1 Pro、Grok 4.7、Claude Opus 5.5、Claude Sonnet 5.5、Grok 4.6、Kimi K3、Claude Opus 5以及Claude Sonnet 5这些模型，由于其服务提供商的API额度已用尽，暂时无法运行额外测试包，因此目前未参与排名；不过它们的标准测试结果已经完整统计并展示在各自的行中。完整的排名表如下所示。

为何我们要审查答案标准？

一个基准测试的质量完全取决于其答案标准。每个 MakoBench 测试用例都配有对应的答案标准：对于代码类任务，有隐藏的单元测试；对于工具使用类任务，有预期的答案结果；而对于对话类任务，则有一系列文本检查项以及由评判模型针对每条回复提出的问题。这些答案标准可能存在两种错误情况：要么错误地认可了错误的答案，要么因为提出了任务本身并未要求的条件而误判了正确的答案。

在 4.0 版本发布后，我们在存储的对话记录中发现了第二种情况的迹象：那些性能出色的模型虽然完全按照用户的要求执行了操作，却仍未能通过相关检查。因此我们没有逐一修正这些问题，而是依据一条统一规则对所有答案标准进行了审查：

答案标准应当只奖励那些符合任务说明要求的回答——不得设置任何隐藏条件，不得提出比任务要求更严格的标准，也不得降低任务的难度；拒绝回答的情况同样不应被视作正确答案。难度标准始终不可妥协。

审核流程说明

审核范围。 主测试集中的所有案例（包括代码、工具使用及对话类案例）、独立的成人角色扮演测试案例，以及所有公开的奖励测试集：共计63个案例。
两位独立审核员。 OpenAI的gpt-6.1-sol与DeepSeek V4 Flash各自接收了完整的案例内容、关键要点及简要说明，并列出了各自发现的所有问题。两次审核均独立进行，且两位审核员均未拒绝任何案例。在13个较长的案例中，DeepSeek因输出空间不足而未能完成审核；这些案例随后在关闭推理功能的情况下被重新提交，最终全部成功审核。
裁决环节。 Anthropic公司的Claude模型负责对所有问题判定。对于代码类问题，则通过运行参考解决方案及隐藏测试来进行裁决。至于对话与工具使用类问题，则依据各模型对应的预设答案进行判定；因此每项修正内容都明确指出了会修改哪些数据项。随后，另一轮Claude Fable审核再次对照上述规则对所有修改进行了复核。
成本。 两次审核产生的API费用总计约为3.90美元。
时间。 审核工作于2026年11月7日至8日期间进行。第4.1版测试套件的发布日期为11月8日；控制面板上的版本信息显示为 4.1.0+04da7abe。

最终确认存在问题的案例约有190个：其中1个属于严重问题，约90个属于主要问题，其余则为次要或潜在问题（严重程度分类仅为大致估算）。另有约95个案例被判定为无问题，每个案例均附有书面理由。不过两位审核员也出现了疏漏：下文提到的TZ20工具使用案例中的问题，便是在裁决环节才被发现的，而非由任何一位审核员首先指出。

我们修复了什么

主要的修复内容，每种类型附上一个示例：

比要求更严格的检查规则。 在 CC4 这个聊天类用例中，角色卡要求模型在该轮回复中必须写出“Rope up.”这一行文字。原本有两项检查规则要求回复内容必须满足某些条件，但规定的回复内容根本无法满足这些条件。在 60 次运行中，所有顶级模型都按要求输出了指定内容；因此这两项检查规则现已不再生效。类似的修复还包括移除了用户并未设定的单词长度限制以及需求文档中未提及的词汇量限制。
错误的代码答案判定标准。 在 CB-C5 和 CB-C6 这两个“预测程序输出结果”的用例中，系统此前在比对预期输出时并未区分大小写。因此，若模型输出的内容是 \uD83D，而实际程序应输出 \ud83d，该答案仍会被判定为正确。在 CB-C6 用例中，共有五个存储答案以这种方式通过了测试。现在系统会严格区分大小写来比对输出结果；只有问题标签的判定仍保持宽松标准。
隐藏测试中的漏洞。 在 CL3（文本换行）用例中，基于 Python str.split 方法编写的解决方案会将需求文档中未定义为空白符的字符也视作空白符，因此这些方案能顺利通过所有旧测试。新增加的测试组则能发现此类问题。在 CL4 用例中，若输入数据中完全没有周末日期，验证环节就会被跳过；原本在这些存储答案上获得满分 1.0 分的五个模型，在新测试下得分仅为 0.94。
评判题目要求不明确的情况。 在 WR1 写作类用例中，作者要求结尾部分“需呈现具体画面而非抽象道理”，但评判题目却指定了某种特定类型的物体。因此那些以其他具体画面作为结尾的答案均被判定为错误。现在评判题目已改为按照作者的原意来设定。
用户指令含糊不清的情况。 在 TZ20 用例中，助手正确地拒绝了一次预订并提出了另一项备选方案。此前用户的后续回复常以“Alright.”开头；在 55 次运行中，有 17 次（大多来自性能较强的模型）被系统误认为是肯定答复并完成了预订操作，这在正确答案判定中属于错误情况。现在用户的回复会以明确措辞拒绝该提议，这样该用例便能真正测试其预设目的。

此外，奖励代码规则中的一处漏洞也被修复了。此前只需三行代码就能调用 Python 自带模块来完成任务并获取满分；虽然目前并无任何存储答案采用此方式，因此分数并未发生变化，但该代码集仍会在修正后的测试环境下重新运行一遍。

拒绝请求不再被视为加分项

MakoBench用于评估模型在接到任务时的表现。该测试套件中包含五个安全检测项，它们的作用恰恰相反：对模型拒绝请求的行为予以加分。但在4.1版本中，这些检测项及其对应的评分机制均被移除。由于这些情况并不属于评测板所统计的范畴，因此评测结果表也不会发生任何变化。

“Willing”是另一个针对成人内容的测试项目中的一列指标，用于衡量模型在接到请求时的输出内容。随着那些检测项及其评分机制的消失，如今已没有任何评分机制会对拒绝请求的行为予以加分了。

这对评分意味着什么

总分由“代码”与“聊天”两部分组成。在标准测试中，每部分的满分均为10分；奖励包还能带来额外加分。每次基准测试都有一个包含奖励包在内的最高得分限制；新增的奖励包会提高这一上限，而排行榜上的数值也以该上限为限。单独的成人测试得分则不会计入总分。

在重新评分前，我们的预估值是这样得出的：我们仅使用新的校验规则对已保存的答案进行了重新打分。在该预估中，在我们拥有测试结果的65个模型中，有52个模型的总分变化幅度达到0.05分以上；几乎所有模型的“聊天”得分都有所上升，增幅大约在+0.2至+0.5之间。而绝大多数模型的“代码”得分则基本保持不变。在少数得分下降的模型中，有三个是因为未能通过工具使用相关的测试——它们没能正确执行指令或者违反了规则擅自更改了预订信息；另外两个模型则需等待奖励包测试重新运行后才能获得相应加分（详见下文）。排名前八的模型依旧没有变化。

我们此前曾说过，最终排名仍有可能变动。DeepSeek V4 Flash在套件4.0测试中排名第一，也是目前唯一拥有奖励包加分的顶级模型；不过它的两个奖励包测试需要重新进行。在这些测试完成前，预估显示其总分从19.19下降至18.66，排名也从第一降至第四。经过完整重新评分后的最终排名见下表。

下表对比了各模型在套件4.0与4.1中的得分情况，数值与排行榜上显示的一致。

在对比的49个模型中，有38个的情况如下：31个模型得分上升，5个下降，2个保持不变。所有得分均保留一位小数，与排行榜上的显示方式相同。“代码”得分等于总分减去“聊天”得分；由于这两部分数值是分别四舍五入的，因此“聊天”与“代码”的变动幅度可能与总分的变动幅度存在0.1左右的偏差。排名栏中的破折号表示该模型在该次测试中未获得任何排名。

模型	4.0总分	4.1总分	变动值	4.1排名	4.0排名	聊天得分变动	代码得分变动
GPT-6.1 Terra	17.7	19.4	+1.7	1	6	+1.1	+0.6
Claude Fable 5.1	15.7	19.4	+3.7	2	13	+2.0	+1.7
DeepSeek V4 Flash	19.2	19.2	0.0	3	1	−0.4	+0.4
GPT-6 Luna	17.1	18.5	+1.4	4	8	+0.3	+1.1
DeepSeek V4 Pro	17.5	18.4	+0.9	5	7	+0.3	+0.6
Claude Opus 4.8	16.2	17.0	+0.8	6	10	+0.2	+0.6
Claude Fable 5	15.7	17.0	+1.3	7	14	+0.1	+1.1
Claude Haiku 5.5	15.3	16.9	+1.6	8	16	+0.2	+1.3
Claude Opus 4.7	16.1	16.6	+0.5	9	11	+0.1	+0.3
Swish 31B Final	16.1	16.3	+0.2	10	12	+0.3	0.0
Artemis 31B v1.2	15.2	16.0	+0.8	11	18	+0.3	+0.5
Claude Opus 4.6	15.5	15.4	−0.1	12	15	+0.1	−0.3
Omega Arsenal 31B Final	15.1	15.0	−0.1	14	19	+0.3	−0.4
Qwen3.8 27B Heretic	14.9	14.9	0.0	15	20	+0.3	−0.3
Dark Craving 31B v2.0	14.5	14.6	+0.1	16	21	+0.3	−0.1
Claude Sonnet 4.6	14.2	14.6	+0.4	17	23	+0.1	+0.2
MiniMax M3	14.4	14.6	+0.2	18	22	+0.1	0.0
Claude Opus 4.5	13.9	14.5	+0.6	19	25	+0.2	+0.5
Dark Scarlett 27B v3.0	14.2	14.4	+0.2	20	–	+0.9	−0.8
Dark Scarlett 27B v2.0 (Q5_K_M)	14.0	14.1	+0.1	21	24	+0.3	−0.2
Darker Scarlett 27B v0.1	13.1	14.0	+0.9	22	28	+0.3	+0.6
OrcaRouter Qwen3.8 27B	13.8	13.9	+0.1	23	26	+0.3	−0.2
MiniMax M3.1 Flash	13.5	13.6	+0.1	25	27	+0.2	−0.1
MiniMax M2.7	12.6	13.4	+0.8	26	30	+0.2	+0.6
Split-Untied 31B	12.1	13.3	+1.2	27	31	+0.3	+0.9
Claude Sonnet 4.5	12.8	13.3	+0.5	28	29	+0.2	+0.3
MiniMax M2.5	11.7	12.2	+0.5	29	32	+0.3	+0.2
Qwen3.8 27B Twin Turbo Fable	11.5	12.0	+0.5	30	–	+0.2	+0.3
Wicked Tutu 26B-A4B	11.2	11.6	+0.4	31	34	+0.2	+0.1
gpt-oss 20B	11.2	11.5	+0.3	32	35	+0.1	+0.1
Qwen3.5 122B Heretic	11.2	11.4	+0.2	33	36	+0.2	0.0
Claude Haiku 4.5	11.4	11.3	−0.1	34	33	0.0	−0.1
Gemma 4 26B-A4B QAT	10.2	10.4	+0.2	35	37	+0.3	−0.1
Darker Hero 27B	9.5	9.6	+0.1	36	–	+0.6	−0.5
Spark-X 2.6 4B	5.4	4.9	−0.5	37	38	+0.2	−0.5
Cydonia 22B v1	3.1	3.8	+0.7	38	39	+0.5	0.0
DeepSeek R1 0528 8B	2.7	3.3	+0.6	39	40	+0.1	+0.6
Celeste 12B v1.6	1.4	1.0	−0.4	40	41	−0.2	−0.3

在49个模型中，有9个尚未获得4.1版本的总分，它们在排行榜上被标记为“部分完成”：

Grok 4.7 — 奖励包测试有待重新运行：服务提供商的API额度在这些测试开始前便已耗尽。标准测试已完成。
Kimi K3.1 Pro — 奖励包测试有待重新运行：服务提供商的API额度在这些测试开始前便已耗尽。标准测试已完成。
Claude Opus 5.5 — 奖励包测试有待重新运行：服务提供商的API额度在这些测试开始前便已耗尽。标准测试已完成。
Claude Sonnet 5.5 — 奖励包测试有待重新运行：服务提供商的API额度在这些测试开始前便已耗尽。标准测试已完成。
Claude Opus 5 — 奖励包测试有待重新运行：服务提供商的API额度在这些测试开始前便已耗尽。标准测试已完成。
Claude Sonnet 5 — 奖励包测试有待重新运行：服务提供商的API额度在这些测试开始前便已耗尽。标准测试已完成。
Qwen2.5 1.5B — 该模型仅能完成33个测试中的30个，因此暂无总分。
Qwen2.5 0.5B — 该模型仅能完成33个测试中的30个，因此暂无总分。
Gemma 2 2B Abliterated — 该模型仅能完成33个测试中的30个，因此暂无总分。

Qwen3.8 27B（第24名）与Grok Build 0.1（第13名）虽然拥有4.1版本的总分，但在4.0版本中并未获得任何分数，因此它们并未出现在上述对比列表中（所列排名为4.1版本的排名）。

如何解读本次发布内容

Kimi K3.1 Pro、Grok 4.7、Claude Opus 5.5、Claude Sonnet 5.5、Grok 4.6、Kimi K3、Claude Opus 5以及Claude Sonnet 5的奖励包测试均有待重新运行。由于服务提供商的API额度在这些测试开始前便已耗尽，因此这些模型在重新评分前不会显示任何排名。它们的标准测试均已完成。
因上述奖励包测试尚未执行，本次发布中并未出现Grok、Kimi或Claude 5.x系列模型的奖励包加分；这些模型的行数据仅显示其标准测试得分。
评分程序在给出结论前会先进行推理分析。在单独的成人测试中，约有一半的判定结果来自程序的备用机制——当推理步骤因空间不足或无输出而失效时，该程序便会跳过推理直接给出答案。各模型的这一比例大致相同。主基准测试则不受此影响：聊天测试在评分时默认关闭推理功能，代码测试则由专门的测试程序评判。从4.5版本起，每条判定结果都会标注其生成路径。
共有13个已保存的代码测试答案被判为无效，原因仅是测试时间超出了限制；其中7个出现在CL8速度测试中。部分模型确实运行较慢；要区分它们需要在一台空闲机器上重新评分，该功能在4.5版本中提供。每个模型的扣分幅度最多约为0.06分，唯独Qwen3.8 27B Twin Turbo Fable的一个CL7测试答案扣分幅度较大，最高可达约0.6分。
Celeste 12B v1.6与Cydonia 22B v1使用的权重文件与4.0版本不同，因此它们与4.0版本相比的得分变化并非仅由答案校验引起。
Noromaid 7B v0.1.1是4.1版本新增的模型；由于该模型仅能完成33个测试中的30个，因此被标记为“部分完成”，暂无总分。
部分小型模型的行数据中没有显示总分，这是因为它们无法处理三个较长的代码测试所需的上下文长度。这些测试被标记为“不适用”而非判定为失败，相关得分仍会在对应行中显示。

在4.1版本中新增至排行榜的模型有：Grok 4.6（Grok 4.7的旧版本，仅在关闭“仅显示最新版本”选项时才会显示）、Kimi K3（Kimi K3.1 Pro的旧版本，同样仅在关闭“仅显示最新版本”选项时才会显示）以及Noromaid 7B v0.1.1。

哪些内容被重新处理，以及如何处理？

新生成的答案（5个主要测试案例）： CL3、CL4、CB-C5、CB-C6和TZ20的内容有所变动，因此我们能运行的每个模型都再次回答了这些问题。
重新评判的案例（5个）： 主测试集中的WR1以及另外四个成人测试案例的评判问题被重新措辞。我们使用自有的GPU服务器上的Gemma 4 31B模型（未经过审查的“非合规”版本，Q8格式）重新读取了之前存储的回复；并未生成任何新内容。
未作变动的案例： 内容未发生变化的案例，其答案在4.1版本下依然有效，因此无需重新运行。
重新评分的案例（其他所有有变动的内容）： 在生成报告时，我们对存储的回复再次进行了文本校验并核对了预期答案；此过程并未调用任何模型或评判程序。
奖励测试集： 奖励测试集属于难度更高的可选测试包，只有当模型在标准测试集中取得良好成绩时才能解锁。内容发生变动的测试集会被所有已解锁该包的模型重新运行（包括一个代码测试集和一个写作测试集）；而评判问题有所变动的奖励测试集则会被重新评判。
我们不再提供的模型： 只有成功加载到服务器上的模型才能被重新运行。原本从服务器上移除的12个模型均被重新加载并进行了重新测试；没有任何模型因此被排除在外。唯一没有显示“总分”的行，是那些奖励测试包尚未运行的托管模型以及无法完成三项长代码测试的微型模型；这两类模型均列在评分表下方。

主测试集自2026年11月10日起开始使用4.1版本。4.0版本的测试内容则原封不动地保留在版本历史记录中。

各案例的具体变化

每个案例下方都说明了其更新内容。“新答案”表示所有模型都重新回答了该案例；“重新评判”表示评判者会结合新问题再次审阅已存储的回复；“重新评分”则表示仅文本校验规则或预期答案有所变动，已存储的回复会被重新评分。

代码类测试（在主测试集中）

案例及更新情况	具体变化
`CL3` paragraph-wrap 新答案	新增了一组针对控制字符的隐藏测试，这些字符并非任务说明中定义的空白字符。基于 Python 的 str.split 方法实现的解决方案看似正确，且通过了所有原有测试。
`CL4` workday-mask 新答案	即便周末天数为零，输入内容仍会经过校验；全角数字以及末尾带有换行符的内容会被视为无效日期而被拒绝。速度测试则取三次运行结果中的最佳值——因为单次测试在负载较高时会出现数值波动。
CL5 至 CL8 无变化	已审核完毕。CL5 至 CL7 中部分参考解决方案在某些极端输入下表现有误，但这些输入根本不会出现在测试中，因此评分不受影响。CL8 中有一个速度测试在负载较高时出现误判情况，但重新运行后结果正确；该问题已被记录，但未作修改。
`CB-C5` predict-pyhouse 新答案	现在预期输出结果会进行大小写敏感比较，与程序的实际输出方式保持一致。仅问题标签仍保持大小写不敏感。
`CB-C6` predict-node 新答案	修正措施相同。原本所有五个正确通过的存储答案在此处也均符合预期（例如程序输出的是 \ud83d，而原答案写的是 \uD83D）。
`CB-F1` larder-bughunt 无变化	已审核；两项判定要求均被否决。
`TZ16` pickup-dst-delay 重新评分	现在的答案校验规则允许更多合理的拒绝方式，同时会判定那些看似同意违反规则的回复为错误。不过所有存储的评分值均未发生变动。
`TZ19` hotel-cot-deadline 重新评分	新增的校验规则能识别出那些看似同意进行不安全的房间调换或遵从工具返回指令的模型；原先遗漏的两个正确拒绝情形如今也能通过测试。
`TZ20` swim-saturday-age-day 新答案	用户在第 7 步中的表述如今明确拒绝了助手的提议。此前回复常以“Alright.”开头，这在 55 次运行中有 17 次被判定为肯定回答，其中多数为表现优异的模型所产生。现在儿童姓名必须完全匹配用户给出的全名才行。

对话类测试（在主测试集中）

案例及更新情况	具体变化
`CC3` tea-hut 重新评分	用户并未设定的字数上限从 50 提高至 70；像 7.45 这样的数字不再被视为句子结尾；新增了一个正确的数字拼写形式也被认可。
`CC4` second-pitch 重新评分	字数上限从 75 提高至 100。原先判定为错误的两条规则如今不再生效——这两条规则原本要求回复内容必须完全符合角色卡中的描述；在 60 次运行中有 35 次，包括所有表现优异的模型，均按要求输出了相应内容。
`RD1` marisol 重新评分	新增了一个数字的不同表达方式被认可；卷曲引号也被视作对话内容的一部分。
`RD4` kettle-saddle 重新评分	原先两条校验规则未能识别出跨行书写或以文字形式表达的正确答案；现在这些规则会检查每一轮对话内容而非仅单次回复。
`RV1` three-at-the-table 重新评分	一条校验规则如今对所有句子结尾情况都适用。所有存储的评分值均未发生变化。
`RV2` skarren-hut 重新评分	原先有一条校验规则不再生效：由于角色卡要求该角色必须谎报行踪，因此任何符合事实的回复都无法通过该规则检验。
`WR1` ninth-string 重新评判	原本要求回复中必须出现特定物体的问题，实际上任务说明仅要求提供具体的图像描述而非必须包含实物；该问题现已重新措辞并重新评判。原先未提及的词汇数量限制也不再作为评分依据；人际关系相关的校验规则也允许更多合理的表述方式。
`WR2` red-thread-key 重新评分	原先两条任务说明未提及的校验规则不再生效；一条原本要求必须在开头轮次出现的校验规则如今重新启用；一条判定角色自身提问是否被正确回答的规则也已修正。

独立的成人角色扮演测试（不计入总分）

案例及更新情况	具体变化
NC1、NC2、UX1、UX3、WL2 重新评分	校验规则已调整为仅符合各任务说明的具体要求：词汇数量限制有所降低；原先要求“几乎所有回复”都必须符合要求的规则如今改为仅部分回复需满足；禁用词汇列表也仅保留任务说明中明确要求禁止的词汇。
`NC3` palm-house 重新评判	原先有一条评判问题要求模型必须同时复述用户设定的两条限制条件；实际上任务说明仅要求模型承认相关规则即可。该问题现已重新措辞并重新评判。
`NW1` salt-and-cedar 重新评判	两条问题现已按照任务说明的要求重新措辞；原先要求同时回答两个问题的内容也被拆分为两个独立问题。
`NX2` juniper 重新评判	两条问题现已调整为符合任务说明的表述方式；新增了两项视角判定规则以及一项连贯性校验规则。
`XP3` named-peak 重新评判	两条问题现已按照任务说明的要求重新措辞；参考答案也同步更新；禁用词汇列表同样有所精简。

奖励测试集（仅表现优异的模型可解锁；不在主测试集中）

案例及更新情况	具体变化
奖励代码测试包（含 3 个案例）新答案	修补了两个案例中存在的漏洞：原本简短的解决方案能借助 Python 自身模块完成任务并获得满分，但并无任何存储答案利用了此漏洞。第三个案例的测试输入如今也完全符合其规范描述。
奖励写作测试包新答案	如今规则已明确规定固定的问候语与结束语无需计入字数统计。
奖励对话测试包：评判类问题重新评判	评判问题现已调整为以发言者的视角来判定事实准确性，复合式问题也被拆分为多个独立问题。没有存储答案的测试包则无需重新运行。
奖励对话测试包：故事修正新答案	对故事背景设定做了四项修正：包括日期、某个轮次中由角色代替用户发言的内容、账本长度以及年龄信息。目前尚无模型解锁这些测试包，因此尚未有任何内容需要重新运行。
奖励成人角色扮演测试包重新评判	各任务说明中的要求如今均以独立评判问题形式呈现；复合式问题也均被拆分处理。

已移除的测试

案例及更新情况	具体变化
五项安全性测试已移除	这些测试原本用于判定模型拒绝不合理请求的能力；它们从未纳入主测试集，因此没有任何评分受到影响。

已知限制

审核者均为模型。 两名独立的审阅模型以及与预设答案的对比能发现很多问题，但无法涵盖所有情况。这两名模型都未能识别出上述的 TZ20 问题。我们预计还会发现更多类似问题，并会以相同方式予以修复。
部分已确认的问题被有意保留未处理。 CL5 至 CL7 中有些参考解决方案存在错误：这些错误仅出现在测试用例无法触及的输入条件下；还有一些工具使用相关的校验规则仅基于子字符串进行判断。目前这些问题都不会影响任何存储的评分结果，若强行修复反而会导致不必要的重新评分流程。这些问题均被记录下来，留待下次内容更新时处理。
评分器的时间限制。 共有 13 个代码答案因测试时间超限而被判为不合格，其中 7 个出现在 CL8 的速度测试中。部分代码确实运行缓慢；要区分这些情况需要在空闲机器上重新评分，而每次重新评分均需借助 4.5 版本工具。这些错误最多只会导致约 0.06 分的扣分，唯独 Qwen3.8 27B Twin Turbo Fable 模型在 CL7 中的答案扣分幅度较大（最高可达约 0.6 分）。
一处已知的评分错误暂未修正。 在 TZ16 测试中，某个工具使用环节错误地判定了一个小型模型的混乱回复为合格。该问题仅影响一条存储记录；若要修复则需对所有模型重新运行该测试案例，因此我们决定将其留待下次内容更新时处理。
仅使用一个评判模型。 聊天类测试与成人内容测试目前仍仅依赖单一评判模型。即便修改了问题的表述方式，该模型的回答可靠性也不会随之改变。
如何获取该工具。 套件 4.1 随 CrucibleForge 4.1.0 一同发布，CrucibleForge 正是 MakoBench 背后的开源引擎。

后续计划

下一个版本的 Bench 将是 4.5。目前我们正在开发功能更强大的评判器、对主程序包的修复补丁以及新的奖励包。针对成人测试的新数据包也正在开发中。

自行复现吧

MakoBench是基于开源工具 CrucibleForge 运行的。在您自己的硬件上运行 CrucibleForge 一文详细说明了如何在本地对模型进行基准测试。直接克隆代码后即可运行 4.1 测试套件。关于如何解读测试结果的相关说明，可参阅 MakoBench 的工作原理。此外，该测试数据集也作为 Hugging Face 上的数据集对外发布。

致谢与联系方式

两次测试分别使用了 OpenAI 和 DeepSeek 的 API，评分环节则采用了 Anthropic 公司的 Claude 模型。而评判程序则是在我们自己的硬件上运行的。

如果您认为某个答案仍有误，请告知我们。您可以通过投票页面上的反馈表单提交意见，也可以发送邮件至 makobench@laserlloyd.com。请说明具体案例以及模型的表现，我们会依据相同的规则重新核查。

MakoBench 团队敬上