MakoBench能测试什么，又不能测试什么

简单来说： MakoBench是一个用于评估模型的基准测试平台，这些模型的主要输出形式为文本，且具备聊天功能。该平台对两类任务进行评分：编码任务以及角色扮演或对话互动任务；此外还有一项独立的成人内容写作测试。图像、视频、音频及3D生成模型、嵌入与分类模型、诸如翻译或字幕生成之类的单任务工具，以及基础模型检查点均不在测试范围内。只有当某项测试结果具有参考价值时才会被列入排名：即整个测试套件均已运行完毕、兼容性检查也顺利通过，且该结果确实是该模型的主要性能指标。

前往 GitHub 上的 CrucibleForge

MakoBench的使命很明确：它要告诉你，一个通用文本模型在我们在实际使用中依赖的两个方面上的表现如何。我们会直截了当地说明测试内容，因为只有针对特定模型设计的测试，其评分才具有实际意义。

简而言之：

适用对象：任何以文本为主要输出结果、能够接收指令或对话并作出回应的模型。
不适用对象：图像、视频、音频及3D内容生成器，嵌入模型与分类器，仅用于单一任务的工具，以及基础检查点模型。
两大测试任务：编写可运行的代码，以及角色扮演或对话模拟。涉及成人内容的写作则属于单独的测试项目。
排名列表中的条目均为有效结果：这些模型完整通过了整套测试且兼容性检查也合格，因此它们才是该模型的代表性表现。

我们测试的内容

我们测试的模型以文本作为输入，主要输出也是文本，并能响应类似聊天风格的指令或对话。具体包括：

各种规模的聊天与指令型模型，既可在本地运行，也可通过托管 API 使用；
推理类模型，需按照其开发者推荐的方式运行，其输出量限制与其他模型相同；
具备编程能力的聊天模型。它们需要同时接受代码测试和聊天测试；即便聊天得分较低，也不应因此被排除在外；
上述各类模型的未经审查版、去审查处理版以及经过角色扮演微调的版本；
视觉-语言聊天模型，仅对其执行文本测试。此类模型的对应条目会标注为“仅文本测试”，因为我们并未评估它们处理图像的能力。

测试任务分为代码与聊天两项，每项在标准测试中各占10分，总分即为两者之和。代码测试要求模型编写可运行的 Python 函数、预测代码片段的输出结果、借助工具排查错误并正确使用工具。聊天测试则涉及角色扮演与对话互动：要求模型记住相关信息、保持设定的角色特征并遵循写作规则。该测试并非单纯考察问答能力或一次性指令执行情况，因此一个模型完全可以成为出色的助手却只获得中等的聊天得分。另外还有一个专门针对成人文学内容的测试，它位于最后一个标签页中，其得分绝不计入总分。

我们不进行测试的内容

无法输出文本的模型。 图像、视频、语音及音乐生成器，以及 3D、CAD 和场景生成器。由于这些模型的输出无法被评分，任何数值都只是无意义的噪音罢了。
输出向量或标签的模型。 嵌入模型、重排序器、分类器，以及各类安全、防护或奖励模型。
仅用于单一任务的文本工具。 翻译模型、字幕生成器、语音转文字与 OCR 工具，以及仅经过摘要或信息提取训练的模型。它们虽擅长某一特定任务，但 Code 和 Chat 测试体系并不对其加以评估。
没有对话模板的基础模型。 缺乏对话模板的模型无法响应测试套件发出的指令。
CrucibleForge 无法运行的模型。 系统会先验证自身能否与模型正常通信，只有验证通过才会给予评分；若验证失败，该模型便会被拒绝。

凡是属于上述类别的请求，我们都会在投票页面附上简短说明予以拒绝，相关模型也不会进入评审环节。我们绝不会因模型体积过大而拒绝其参评；这一点会在下文详细说明。此外，那些仅由系统自动挑选的模型也必须具备宽松的许可协议且无使用限制；当然我们也可以手动添加其他模型。

在对某行数据进行排名之前，必须满足哪些条件？

整个测试套件均成功运行。 如果只有部分测试完成，系统会显示相关数值，但不会给出总计数据及排名。
兼容性检查通过。 若检查未通过，则很可能是 CrucibleForge 的配置导致对模型的测量出现偏差。此时该行仍会显示，但会带有警告标志与“暂定”标识，且没有排名；我们会重新对该模型进行测试。
每个模型仅对应一行数据。 对于本地模型而言，标准的量化等级为 Q8_0。若 Q8_0 无法在我们的硬件上运行，则会依次尝试 Q6、Q5；相关信息也会显示在该行中。我们绝不会使用低于 Q5 的量化等级。同一托管模型若存在其他量化等级或更高效的推理配置，则会以“其他变体”的形式显示在主行下方，且不会被排名。
量化等级低于 Q5 的旧数据行仍会显示。 这些行的量化等级信息会被展示出来，并在详情中标注“低于 Q5”。只有当某个模型同时满足以下条件时，我们才会以标准量化等级重新测试它：在相应排行榜上排名第一（无论是主榜单还是成人内容专项榜单）、在关键指标列中名列前茅，或在其尺寸类别中处于首位。
托管模型对应的数据行会注明测试日期。 由于服务商可能会更改或下架同名的模型，因此托管模型的数据行实际上是一个“快照”。

我们的测试平台能测试哪些模型？哪些测试需要资金支持？

MakoBench运行在一台配备四张显卡的家用电脑上：两张RTX 5090和两张RTX 3090，总计拥有112 GB的显存。我们通常以Q8_0精度来测试每个模型；只有当模型大小超出该精度所能承载的范围时，才会改用Q6或Q5精度进行测试。实际上，这意味着我们可以测试参数规模达约1350亿的模型，且上下文长度可达32,000个标记。

对于参数规模更大的模型，我们会标注为“无法在本地测试”，但这些模型也绝不会被排除在外。如果某个托管服务能够以8位或更高精度运行该模型，用户便可以资助相应的测试。所需的资金数额约为我们预估的测试成本的四倍——因为远程测试还需包括环境配置、可能的二次尝试、结果校验以及在我们本地机器上的评分工作，这些费用均需从资助款中支出。若没有任何托管服务能提供相应支持，则标注为“目前规模过大无法测试”，此时无需设定资金目标；不过用户的投票依然有效，一旦条件允许我们也会进行测试。如果已获资助的测试未能成功运行，或者该模型最终能适配我们的硬件，这笔资金就会用于实际测试。资金数额绝不会改变模型的评分结果；而针对特定模型的捐赠仅能提升其在同类模型中的排名，同样不会影响其评分。

为何要如此谨慎？

一个试图对所有模型进行排名的基准测试，最终往往会给那些测试无法衡量的方面也打分；而这种毫无实际意义的评分还不如没有评分。只有将测试范围限定在适合测试的模型上，并且仅基于合理的指标来排名，才能确保两个数值之间具有可比性。关于评分机制的具体运作方式，请参阅MakoBench的工作原理；如果您希望对某个模型进行测试，则可以使用投票页面。