MakoBench:主工作台

MakoBench是一个运行速度极快的基准测试工具。它易于使用且具备高度灵活性,能够对各类文本模型在代码生成与对话能力方面进行评分。该测试集还会持续更新:随着模型性能的提升,难度更高的题目也会被加入其中,从而确保即便是最强大的模型也能被准确评估。我们在开发过程中的心得与体会。

有想要测试的模型吗?请前往 投票 页面,然后 提交模型信息,这样它就能被列入候选列表了。

模型/范例 # 总计 聊天 代码 数量 测试日期
Claude Fable 5.2最大值 1 25.2 12.7 12.5 API 2026-11-10
Kimi K3.1 Pro最大值 2 24.6 12.6 12.0 API 2026-11-08
Grok 4.7最大值 3 24.1 12.4 11.7 API 2026-11-08
GPT-6 Astra最大值 4 24.0 12.6 11.5 API 2026-11-10
GPT-6.1 Sol最大值 5 23.9 12.4 11.5 API 2026-11-10
Claude Opus 5最大值2 已被阻止 6 19.6 10.0 9.6 API 2026-11-08
GPT-6.1 Terra 7 19.4 9.2 10.2 API 2026-11-08
DeepSeek V4.1-Flash-1017 9 19.2 7.6 11.6 API 2026-11-08
GPT-6 Luna 10 18.5 8.0 10.5 API 2026-11-08
DeepSeek V4-Pro-0813 11 18.4 7.7 10.7 API 2026-11-08
Claude Haiku 5.5 14 16.9 6.2 10.6 API 2026-11-08
Swish 31B FinalQ8_0 16 16.3 8.0 8.4 Q8_0 2026-11-08
Artemis 31B v1.2 17 16.0 7.4 8.6 Q6_K 2026-11-08
Grok Build 0.1 19 15.2 7.6 7.6 API 2026-11-08
Claude Sonnet 4.6 20 15.0 7.0 8.0 API 2026-11-08
Omega Arsenal 31B FinalQ8_0 21 15.0 6.8 8.2 Q8_0 2026-11-08
Qwen3.8 27B HereticNVFP4 22 14.9 7.2 7.7 NVFP4 2026-11-08
Dark Craving 31B v2.0Q8_0 23 14.6 7.2 7.4 Q8_0 2026-11-08
MiniMax M3 24 14.6 6.0 8.5 API 2026-11-08
Dark Scarlett 27B v3.0Q8_0 26 14.4 7.3 7.1 Q8_0 2026-11-08
Dark Scarlett 27B v2.0 (Q5_K_M)Q5_K_M 27 14.1 6.2 7.9 Q5_K_M 2026-11-08
Darker Scarlett 27B v0.1Q4_K_M 28 14.0 6.5 7.5 Q4_K_M 2026-11-09
OrcaRouter Qwen3.8 27BQ8_0 29 13.9 6.6 7.4 Q8_0 2026-11-08
Qwen3.8 27BQ5_K_S 30 13.8 5.8 8.0 Q5_K_S 2026-11-08
MiniMax M3.1 Flash 31 13.6 5.6 8.0 API 2026-11-08
Split-Untied 31BQ8_0 33 13.3 7.2 6.1 Q8_0 2026-11-08
flintQ8_0 35 12.2 4.7 7.5 Q8_0 2026-11-11
Qwen3.8 27B Twin Turbo FableQ5_K_M 37 12.0 5.8 6.1 Q5_K_M 2026-11-09
Wicked Tutu 26B-A4BQ8_0 38 11.6 5.4 6.2 Q8_0 2026-11-09
gpt-oss 20BQ8_0 39 11.5 4.3 7.1 Q8_0 2026-11-08
Qwen3.5 122B HereticQ4_K_S 40 11.4 5.6 5.8 Q4_K_S 2026-11-09
Gemma 4 26B-A4B QATQ4_0 42 10.4 4.5 5.9 Q4_0 2026-11-08
Darker Hero 27BQ4_K_S 43 9.6 4.7 4.9 Q4_K_S 2026-11-09
Spark-X 2.6 4BQ8_0 44 4.9 2.3 2.7 Q8_0 2026-11-08
Cydonia 22B v1Q6_K 45 3.8 3.2 0.5 Q6_K 2026-11-09
DeepSeek R1 0528 8BQ4_K_M 46 3.3 1.4 1.9 Q4_K_M 2026-11-08
Celeste 12B v1.6Q8_0 47 1.0 0.8 0.1 Q8_0 2026-11-09
Claude Opus 5.5⚠ 暂定/尚未最终确定 – – 9.2 10.0 API 2026-11-08
Claude Sonnet 5.5⚠ 暂定/尚未最终确定 – – 8.6 10.0 API 2026-11-08
Qwen2.5 1.5BQ4_K_M⚠ 暂定/尚未最终确定 – – – 0.5 Q4_K_M 2026-11-10
Noromaid 7B v0.1.1Q8_0⚠ 暂定/尚未最终确定 – – – 0.3 Q8_0 2026-11-09
Qwen2.5 0.5BQ8_0⚠ 暂定/尚未最终确定 – – – 0.2 Q8_0 2026-11-10
Gemma 2 2B AbliteratedQ5_K_S⚠ 暂定/尚未最终确定 – – – 0.2 Q5_K_S 2026-11-10

MAX:在部分测试中,该模型成功登顶每一组测试题。在此之后,这些测试便无法再区分各模型的表现了,因此需要更难的测试集。

  • Total = Code + Chat. 10 each is a perfect run of the standard tests, so 20 is the nominal top; bonus packs add points on top, up to the suite's most possible (a row's bars run to it).
  • ± 总和 = 在测试案例上进行自助法计算后所得90%置信区间的一半;数值相差小于此值的模型在统计学上可视为相当。
  • 每个模型仅运行一次,因此±值反映的是被抽中的案例情况,而非多次运行产生的误差;这一数值实际上低估了真实的不确定性。在此处,使用相同权重的模型结果之间的最大差异可达2.4个百分点。相差1到2个百分点的情况可视为结果相当。
  • 等级划分标准为:S级≥16,A级≥13,B级≥10,C级≥0。
  • 当与板面中位数的差距达到1.5分或更多时,即为偏向聊天或偏向代码;否则为平衡状态。
  • tok/s = 平均生成速度;仅适用于在同一主机上运行的模型之间的比较。
  • 量化等级 = 我们评定的量化级别。Q8_0是本地模型的标准量化等级;其他任何量化等级在详细信息行中均被标记为非标准量化等级。API = 由服务提供商托管并提供的模型。
  • 运行成本 = 按照服务商的价格计算,仅执行一次“代码与聊天”测试所需的费用。~ = 根据令牌数量及标价估算得出。* 表示部分请求返回的结果中未包含使用数据,因此该数值可能偏低。— 表示在我们自己的硬件上运行,故不产生费用。
  • N被阻止 = 提供商的内容过滤器阻止了N条回复;每条回复的得分均为零。
  • 每个模型占一行:具有相同权重的其他量化级别和服务层级都列在主行下方(点击箭头展开),且不予排名。
  • ⚠ 暂定状态 = 未显示排名;原因会在相应行中说明(兼容性检查未通过、测试尚未完成,或奖励包需重新测试)。可重新测试的条目在重新测试后会获得排名;而测试结果低于Q5标准的条目以及因规模过小而无法参与所有测试的模型则仍保持无排名状态。
  • 在“总计”栏中的短横线表示该型号的某个运行项目(代码、聊天功能或奖励包)尚未评分,因此未被排名。

MakoBench是免费的,也没有广告。运行它需要消耗电力、硬件资源以及我们的时间。

☕ 通过 PayPal 支持

初次使用?查看这些测试所衡量的内容。

关于这张长椅

  • 所使用的引擎是 CrucibleForge。它是开源的,因此您可以下载它并自行测试模型。
  • 测试集会不断扩充:一旦有模型能够很好地解答某组问题,我们就会增加更难的问题,因此理论上没有人能获得满分。
  • 该测试针对文本模型的两类任务:代码生成以及角色扮演或对话交互。图像、视频、音频与3D生成器以及仅能完成单一任务的工具则不在测试范围内;详情请见 MakoBench测试的内容及不测试的内容。
  • 主要测试的设计宗旨是运行快速且成本低廉,这样就能轻松区分不同模型的性能。
  • 此外还有一个不适合工作场合的测试项目。它有独立的标签页,即最后一个:+NSFW测试。

接下来阅读

请求生成模型 想测试某个模型?在列表中搜索,点击+1,或者提交一个新的模型。