MakoBench
由……提供支持 CrucibleForge
套件 4.1 (当前/现在)
MakoBench:主工作台
MakoBench是一个运行速度极快的基准测试工具。它易于使用且具备高度灵活性,能够对各类文本模型在代码生成与对话能力方面进行评分。该测试集还会持续更新:随着模型性能的提升,难度更高的题目也会被加入其中,从而确保即便是最强大的模型也能被准确评估。我们在开发过程中的心得与体会。
在总共 43 个模型中,排名第 37 · 13 较旧的版本已隐藏
向侧面滑动表格以查看更多列。
| 模型/范例 | # | 总计 | 聊天 | 代码 | 数量 | 测试日期 |
|---|---|---|---|---|---|---|
| Claude Fable 5.2最大值 | 1 | 25.2 | 12.7 | 12.5 | API | 2026-11-10 |
| Kimi K3.1 Pro最大值 | 2 | 24.6 | 12.6 | 12.0 | API | 2026-11-08 |
| Grok 4.7最大值 | 3 | 24.1 | 12.4 | 11.7 | API | 2026-11-08 |
| GPT-6 Astra最大值 | 4 | 24.0 | 12.6 | 11.5 | API | 2026-11-10 |
| GPT-6.1 Sol最大值 | 5 | 23.9 | 12.4 | 11.5 | API | 2026-11-10 |
| Claude Opus 5最大值2 已被阻止 | 6 | 19.6 | 10.0 | 9.6 | API | 2026-11-08 |
| GPT-6.1 Terra | 7 | 19.4 | 9.2 | 10.2 | API | 2026-11-08 |
| Claude Fable 5.1旧版本最大值2 已被阻止 | 8 | 19.4 | 10.0 | 9.4 | API | 2026-11-08 |
| DeepSeek V4.1-Flash-1017 | 9 | 19.2 | 7.6 | 11.6 | API | 2026-11-08 |
| GPT-6 Luna | 10 | 18.5 | 8.0 | 10.5 | API | 2026-11-08 |
| DeepSeek V4-Pro-0813 | 11 | 18.4 | 7.7 | 10.7 | API | 2026-11-08 |
| Claude Opus 4.8旧版本 | 12 | 17.0 | 7.3 | 9.7 | API | 2026-11-08 |
| Claude Fable 5旧版本最大值5 已被阻止 | 13 | 17.0 | 8.5 | 8.4 | API | 2026-11-08 |
| Claude Haiku 5.5 | 14 | 16.9 | 6.2 | 10.6 | API | 2026-11-08 |
| Claude Opus 4.7旧版本 | 15 | 16.6 | 7.0 | 9.6 | API | 2026-11-08 |
| Swish 31B FinalQ8_0 | 16 | 16.3 | 8.0 | 8.4 | Q8_0 | 2026-11-08 |
| Artemis 31B v1.2 | 17 | 16.0 | 7.4 | 8.6 | Q6_K | 2026-11-08 |
| Claude Opus 4.6旧版本 | 18 | 15.4 | 7.4 | 8.0 | API | 2026-11-08 |
| Grok Build 0.1 | 19 | 15.2 | 7.6 | 7.6 | API | 2026-11-08 |
| Claude Sonnet 4.6 | 20 | 15.0 | 7.0 | 8.0 | API | 2026-11-08 |
| Omega Arsenal 31B FinalQ8_0 | 21 | 15.0 | 6.8 | 8.2 | Q8_0 | 2026-11-08 |
| Qwen3.8 27B HereticNVFP4 | 22 | 14.9 | 7.2 | 7.7 | NVFP4 | 2026-11-08 |
| Dark Craving 31B v2.0Q8_0 | 23 | 14.6 | 7.2 | 7.4 | Q8_0 | 2026-11-08 |
| MiniMax M3 | 24 | 14.6 | 6.0 | 8.5 | API | 2026-11-08 |
| Claude Opus 4.5旧版本 | 25 | 14.5 | 6.8 | 7.7 | API | 2026-11-08 |
| Dark Scarlett 27B v3.0Q8_0 | 26 | 14.4 | 7.3 | 7.1 | Q8_0 | 2026-11-08 |
| Dark Scarlett 27B v2.0 (Q5_K_M)Q5_K_M | 27 | 14.1 | 6.2 | 7.9 | Q5_K_M | 2026-11-08 |
| Darker Scarlett 27B v0.1Q4_K_M | 28 | 14.0 | 6.5 | 7.5 | Q4_K_M | 2026-11-09 |
| OrcaRouter Qwen3.8 27BQ8_0 | 29 | 13.9 | 6.6 | 7.4 | Q8_0 | 2026-11-08 |
| Qwen3.8 27BQ5_K_S | 30 | 13.8 | 5.8 | 8.0 | Q5_K_S | 2026-11-08 |
| MiniMax M3.1 Flash | 31 | 13.6 | 5.6 | 8.0 | API | 2026-11-08 |
| MiniMax M2.7旧版本 | 32 | 13.4 | 6.7 | 6.7 | API | 2026-11-08 |
| Split-Untied 31BQ8_0 | 33 | 13.3 | 7.2 | 6.1 | Q8_0 | 2026-11-08 |
| Claude Sonnet 4.5旧版本 | 34 | 13.3 | 6.9 | 6.4 | API | 2026-11-08 |
| flintQ8_0 | 35 | 12.2 | 4.7 | 7.5 | Q8_0 | 2026-11-11 |
| MiniMax M2.5旧版本 | 36 | 12.2 | 5.8 | 6.4 | API | 2026-11-08 |
| Qwen3.8 27B Twin Turbo FableQ5_K_M | 37 | 12.0 | 5.8 | 6.1 | Q5_K_M | 2026-11-09 |
| Wicked Tutu 26B-A4BQ8_0 | 38 | 11.6 | 5.4 | 6.2 | Q8_0 | 2026-11-09 |
| gpt-oss 20BQ8_0 | 39 | 11.5 | 4.3 | 7.1 | Q8_0 | 2026-11-08 |
| Qwen3.5 122B HereticQ4_K_S | 40 | 11.4 | 5.6 | 5.8 | Q4_K_S | 2026-11-09 |
| Claude Haiku 4.5旧版本 | 41 | 11.3 | 5.6 | 5.7 | API | 2026-11-08 |
| Gemma 4 26B-A4B QATQ4_0 | 42 | 10.4 | 4.5 | 5.9 | Q4_0 | 2026-11-08 |
| Darker Hero 27BQ4_K_S | 43 | 9.6 | 4.7 | 4.9 | Q4_K_S | 2026-11-09 |
| Spark-X 2.6 4BQ8_0 | 44 | 4.9 | 2.3 | 2.7 | Q8_0 | 2026-11-08 |
| Cydonia 22B v1Q6_K | 45 | 3.8 | 3.2 | 0.5 | Q6_K | 2026-11-09 |
| DeepSeek R1 0528 8BQ4_K_M | 46 | 3.3 | 1.4 | 1.9 | Q4_K_M | 2026-11-08 |
| Celeste 12B v1.6Q8_0 | 47 | 1.0 | 0.8 | 0.1 | Q8_0 | 2026-11-09 |
| Claude Opus 5.5⚠ 暂定/尚未最终确定 | – | – | 9.2 | 10.0 | API | 2026-11-08 |
| Claude Sonnet 5.5⚠ 暂定/尚未最终确定 | – | – | 8.6 | 10.0 | API | 2026-11-08 |
| Grok 4.6⚠ 暂定/尚未最终确定旧版本 | – | – | 8.9 | 9.8 | API | 2026-11-08 |
| Kimi K3⚠ 暂定/尚未最终确定旧版本 | – | – | 7.5 | 9.7 | API | 2026-11-08 |
| Claude Sonnet 5⚠ 暂定/尚未最终确定旧版本 | – | – | 6.4 | 8.8 | API | 2026-11-08 |
| Qwen2.5 1.5BQ4_K_M⚠ 暂定/尚未最终确定 | – | – | – | 0.5 | Q4_K_M | 2026-11-10 |
| Noromaid 7B v0.1.1Q8_0⚠ 暂定/尚未最终确定 | – | – | – | 0.3 | Q8_0 | 2026-11-09 |
| Qwen2.5 0.5BQ8_0⚠ 暂定/尚未最终确定 | – | – | – | 0.2 | Q8_0 | 2026-11-10 |
| Gemma 2 2B AbliteratedQ5_K_S⚠ 暂定/尚未最终确定 | – | – | – | 0.2 | Q5_K_S | 2026-11-10 |
MAX:在部分测试中,该模型成功登顶每一组测试题。在此之后,这些测试便无法再区分各模型的表现了,因此需要更难的测试集。
- Total = Code + Chat. 10 each is a perfect run of the standard tests, so 20 is the nominal top; bonus packs add points on top, up to the suite's most possible (a row's bars run to it).
- ± 总和 = 在测试案例上进行自助法计算后所得90%置信区间的一半;数值相差小于此值的模型在统计学上可视为相当。
- 每个模型仅运行一次,因此±值反映的是被抽中的案例情况,而非多次运行产生的误差;这一数值实际上低估了真实的不确定性。在此处,使用相同权重的模型结果之间的最大差异可达2.4个百分点。相差1到2个百分点的情况可视为结果相当。
- 等级划分标准为:S级≥16,A级≥13,B级≥10,C级≥0。
- 当与板面中位数的差距达到1.5分或更多时,即为偏向聊天或偏向代码;否则为平衡状态。
- tok/s = 平均生成速度;仅适用于在同一主机上运行的模型之间的比较。
- 量化等级 = 我们评定的量化级别。Q8_0是本地模型的标准量化等级;其他任何量化等级在详细信息行中均被标记为非标准量化等级。API = 由服务提供商托管并提供的模型。
- 运行成本 = 按照服务商的价格计算,仅执行一次“代码与聊天”测试所需的费用。~ = 根据令牌数量及标价估算得出。* 表示部分请求返回的结果中未包含使用数据,因此该数值可能偏低。— 表示在我们自己的硬件上运行,故不产生费用。
- N被阻止 = 提供商的内容过滤器阻止了N条回复;每条回复的得分均为零。
- 每个模型占一行:具有相同权重的其他量化级别和服务层级都列在主行下方(点击箭头展开),且不予排名。
- ⚠ 暂定状态 = 未显示排名;原因会在相应行中说明(兼容性检查未通过、测试尚未完成,或奖励包需重新测试)。可重新测试的条目在重新测试后会获得排名;而测试结果低于Q5标准的条目以及因规模过小而无法参与所有测试的模型则仍保持无排名状态。
- 在“总计”栏中的短横线表示该型号的某个运行项目(代码、聊天功能或奖励包)尚未评分,因此未被排名。
MakoBench是免费的,也没有广告。运行它需要消耗电力、硬件资源以及我们的时间。
☕ 通过 PayPal 支持初次使用?查看这些测试所衡量的内容。
关于这张长椅
- 所使用的引擎是 CrucibleForge。它是开源的,因此您可以下载它并自行测试模型。
- 测试集会不断扩充:一旦有模型能够很好地解答某组问题,我们就会增加更难的问题,因此理论上没有人能获得满分。
- 该测试针对文本模型的两类任务:代码生成以及角色扮演或对话交互。图像、视频、音频与3D生成器以及仅能完成单一任务的工具则不在测试范围内;详情请见 MakoBench测试的内容及不测试的内容。
- 主要测试的设计宗旨是运行快速且成本低廉,这样就能轻松区分不同模型的性能。
- 此外还有一个不适合工作场合的测试项目。它有独立的标签页,即最后一个:+NSFW测试。
接下来阅读

AI 与本地 LLM
MakoBench的工作原理:开放式大语言模型基准测试解析
MakoBench如何一步步将模型的回答转化为评分?每个步骤都配有示意图:如何对案例进行打分、评判机制如何运作、“代码+聊天”功能的作用、评分差值的计算方式,以及奖励集如何解锁。示例中使用的均为平台上的真实模型。

AI 与本地 LLM
在您自己的模型上运行 CrucibleForge:安装指南
安装 CrucibleForge——这个支撑 MakoBench 运行的开源引擎。将其指向任何兼容 OpenAI 协议的模型后,即可获得代码与聊天两项评分;在标准测试中,每项满分均为 10 分。这些都是真实的命令与输出结果;整个测试过程仅需 1.6 分钟,成本也仅为 2 美分而已。
AI 与本地 LLM
4. 那些导致我的大语言模型基准测试分数失真的缺陷
在我们的基准测试中,一种新的托管模型的表现不如其旧版本。这个数值基本是准确的——我们的测试工具仍然会使其得分降低多达1.7分。以下是四个缺陷及其各自造成的分数损失情况;此外还有一个免费的压缩包,可用来检测您自己的测试工具。
请求生成模型 想测试某个模型?在列表中搜索,点击+1,或者提交一个新的模型。