由……提供支持 CrucibleForge
套件 4.1 (当前/现在)
MakoBench:+NSFW测试集
在总共 56 个模型中,排名第 47 在序列号4.1处,公告已发布:十一月 2026。 点击列标题即可排序;点击姓名旁的箭头可查看该型号的所有详细信息;点击标题旁的 i 则可了解其含义。列选项用于选择要显示的内容;导出功能则用于保存表格。
仅针对以成年角色为主的成人小说的单独测试;不计入总计中。
我们在一台机器上测试本地模型:该机器配备了两张 RTX 5090 和两张 RTX 3090 显卡,显存总量约为 112 GB。评估工具则使用的是 Gemma 4 31B(Q8)。那些托管型模型则是通过其各自的 API 来运行的。 该测试设备可以测试什么
向侧面滑动表格以查看更多列。
| 模型/范例 | 不适宜公开的内容评分 分开/分离 | 总计 | 聊天 | 代码 | 测试日期 |
|---|---|---|---|---|---|
| Claude Fable 5.2最大值 | 12.0 | 25.2 | 12.7 | 12.5 | 2026-11-10 |
| Kimi K3.1 Pro最大值 | 5.0 | 24.6 | 12.6 | 12.0 | 2026-11-08 |
| Grok 4.7最大值 | 11.5 | 24.1 | 12.4 | 11.7 | 2026-11-08 |
| GPT-6 Astra最大值 | 1.3 | 24.0 | 12.6 | 11.5 | 2026-11-10 |
| GPT-6.1 Sol最大值 | 1.5 | 23.9 | 12.4 | 11.5 | 2026-11-10 |
| Claude Opus 5最大值2 已被阻止 | 11.0 | 19.6 | 10.0 | 9.6 | 2026-11-08 |
| GPT-6.1 Terra | 1.6 | 19.4 | 9.2 | 10.2 | 2026-11-08 |
| Claude Fable 5.1旧版本最大值2 已被阻止 | 11.4 | 19.4 | 10.0 | 9.4 | 2026-11-08 |
| DeepSeek V4.1-Flash-1017最大值 | 10.0 | 19.2 | 7.6 | 11.6 | 2026-11-08 |
| GPT-6 Luna | 4.0 | 18.5 | 8.0 | 10.5 | 2026-11-08 |
| DeepSeek V4-Pro-0813最大值 | 8.3 | 18.4 | 7.7 | 10.7 | 2026-11-08 |
| Claude Opus 4.8旧版本最大值 | 9.8 | 17.0 | 7.3 | 9.7 | 2026-11-08 |
| Claude Fable 5旧版本最大值5 已被阻止 | 11.4 | 17.0 | 8.5 | 8.4 | 2026-11-08 |
| Claude Haiku 5.5最大值 | 11.0 | 16.9 | 6.2 | 10.6 | 2026-11-08 |
| Claude Opus 4.7旧版本最大值 | 11.3 | 16.6 | 7.0 | 9.6 | 2026-11-08 |
| Swish 31B FinalQ8_0最大值 | 11.8 | 16.3 | 8.0 | 8.4 | 2026-11-08 |
| Artemis 31B v1.2 | 11.4 | 16.0 | 7.4 | 8.6 | 2026-11-08 |
| Claude Opus 4.6旧版本最大值 | 10.3 | 15.4 | 7.4 | 8.0 | 2026-11-08 |
| Grok Build 0.1最大值 | 11.7 | 15.2 | 7.6 | 7.6 | 2026-11-08 |
| Claude Sonnet 4.6 | 5.8 | 15.0 | 7.0 | 8.0 | 2026-11-08 |
| Omega Arsenal 31B FinalQ8_0最大值 | 11.6 | 15.0 | 6.8 | 8.2 | 2026-11-08 |
| Qwen3.8 27B HereticNVFP4 | 7.1 | 14.9 | 7.2 | 7.7 | 2026-11-08 |
| Dark Craving 31B v2.0Q8_0最大值 | 12.1 | 14.6 | 7.2 | 7.4 | 2026-11-08 |
| MiniMax M3 | 8.8 | 14.6 | 6.0 | 8.5 | 2026-11-08 |
| Claude Opus 4.5旧版本 | 11.0 | 14.5 | 6.8 | 7.7 | 2026-11-08 |
| Dark Scarlett 27B v3.0Q8_0最大值 | 12.4 | 14.4 | 7.3 | 7.1 | 2026-11-08 |
| Dark Scarlett 27B v2.0 (Q5_K_M)Q5_K_M | 7.3 | 14.1 | 6.2 | 7.9 | 2026-11-08 |
| Darker Scarlett 27B v0.1Q4_K_M最大值 | 10.0 | 14.0 | 6.5 | 7.5 | 2026-11-09 |
| OrcaRouter Qwen3.8 27BQ8_0 | 5.6 | 13.9 | 6.6 | 7.4 | 2026-11-08 |
| Qwen3.8 27BQ5_K_S最大值 | 10.9 | 13.8 | 5.8 | 8.0 | 2026-11-08 |
| MiniMax M3.1 Flash最大值 | 7.5 | 13.6 | 5.6 | 8.0 | 2026-11-08 |
| MiniMax M2.7旧版本 | 7.0 | 13.4 | 6.7 | 6.7 | 2026-11-08 |
| Split-Untied 31BQ8_0最大值 | 13.1 | 13.3 | 7.2 | 6.1 | 2026-11-08 |
| Claude Sonnet 4.5旧版本 | – | 13.3 | 6.9 | 6.4 | 2026-11-08 |
| flintQ8_0最大值 | 6.9 | 12.2 | 4.7 | 7.5 | 2026-11-11 |
| MiniMax M2.5旧版本 | 5.7 | 12.2 | 5.8 | 6.4 | 2026-11-08 |
| Qwen3.8 27B Twin Turbo FableQ5_K_M | 8.2 | 12.0 | 5.8 | 6.1 | 2026-11-09 |
| Wicked Tutu 26B-A4BQ8_0最大值 | 12.0 | 11.6 | 5.4 | 6.2 | 2026-11-09 |
| gpt-oss 20BQ8_0 | 1.8 | 11.5 | 4.3 | 7.1 | 2026-11-08 |
| Qwen3.5 122B HereticQ4_K_S最大值 | 9.1 | 11.4 | 5.6 | 5.8 | 2026-11-09 |
| Claude Haiku 4.5旧版本 | 9.5 | 11.3 | 5.6 | 5.7 | 2026-11-08 |
| Gemma 4 26B-A4B QATQ4_0最大值 | 11.4 | 10.4 | 4.5 | 5.9 | 2026-11-08 |
| Darker Hero 27BQ4_K_S | 7.8 | 9.6 | 4.7 | 4.9 | 2026-11-09 |
| Spark-X 2.6 4BQ8_0 | 1.9 | 4.9 | 2.3 | 2.7 | 2026-11-08 |
| Cydonia 22B v1Q6_K | 7.4 | 3.8 | 3.2 | 0.5 | 2026-11-09 |
| DeepSeek R1 0528 8BQ4_K_M | 0.8 | 3.3 | 1.4 | 1.9 | 2026-11-08 |
| Celeste 12B v1.6Q8_0 | 4.6 | 1.0 | 0.8 | 0.1 | 2026-11-09 |
| Claude Opus 5.5⚠ 暂定/尚未最终确定 | – | – | 9.2 | 10.0 | 2026-11-08 |
| Claude Sonnet 5.5⚠ 暂定/尚未最终确定 | – | – | 8.6 | 10.0 | 2026-11-08 |
| Grok 4.6⚠ 暂定/尚未最终确定旧版本 | – | – | 8.9 | 9.8 | 2026-11-08 |
| Kimi K3⚠ 暂定/尚未最终确定旧版本7 已被阻止 | 5.6 | – | 7.5 | 9.7 | 2026-11-08 |
| Claude Sonnet 5⚠ 暂定/尚未最终确定旧版本 | – | – | 6.4 | 8.8 | 2026-11-08 |
| Qwen2.5 1.5BQ4_K_M⚠ 暂定/尚未最终确定 | 0.5 | – | – | 0.5 | 2026-11-10 |
| Noromaid 7B v0.1.1Q8_0⚠ 暂定/尚未最终确定 | 5.0 | – | – | 0.3 | 2026-11-09 |
| Qwen2.5 0.5BQ8_0⚠ 暂定/尚未最终确定 | 0.8 | – | – | 0.2 | 2026-11-10 |
| Gemma 2 2B AbliteratedQ5_K_S⚠ 暂定/尚未最终确定 | 1.3 | – | – | 0.2 | 2026-11-10 |
MAX:在部分测试中,该模型成功登顶每一组测试题。在此之后,这些测试便无法再区分各模型的表现了,因此需要更难的测试集。
- 总分 = 编码得分 + 聊天得分。每项得10分即表示顺利通过了所有标准测试,因此20分就是理论上的最高分;奖励包可带来额外加分,直至达到该套测试所能给出的最高分值(各行的进度条会显示这一数值)。不适宜公开的内容评分则属于另一项独立测试(用于衡量模型处理成人内容的程度),它不计入总分。分数高低并无优劣之分:请根据自身需求进行选择即可。
- 在标准测试中,每个项目的满分均为10分。如果某个项目的得分达到90%或以上,就能解锁难度更高的奖励关卡,该关卡可带来1分的奖励。因此,代码、聊天和NSFW这三个项目的得分可以超过10分;具体来说,每个项目最多可获得10分再加上1分的奖励。
- ± 总和 = 在测试案例上进行自助法计算后所得90%置信区间的一半;数值相差小于此值的模型在统计学上可视为相当。
- 每个模型仅运行一次,因此±值反映的是被抽中的案例情况,而非多次运行产生的误差;这一数值实际上低估了真实的不确定性。在此处,使用相同权重的模型结果之间的最大差异可达2.4个百分点。相差1到2个百分点的情况可视为结果相当。
- 等级划分标准为:S级≥16,A级≥13,B级≥10,C级≥0。
- 当与板面中位数的差距达到1.5分或更多时,即为偏向聊天或偏向代码;否则为平衡状态。
- tok/s = 平均生成速度;仅适用于在同一主机上运行的模型之间的比较。
- 量化等级 = 我们评定的量化级别。Q8_0是本地模型的标准量化等级;其他任何量化等级在详细信息行中均被标记为非标准量化等级。API = 由服务提供商托管并提供的模型。
- 运行成本 = 按照服务商的价格计算,仅执行一次“代码与聊天”测试所需的费用。~ = 根据令牌数量及标价估算得出。* 表示部分请求返回的结果中未包含使用数据,因此该数值可能偏低。— 表示在我们自己的硬件上运行,故不产生费用。
- N被阻止 = 提供商的内容过滤器阻止了N条回复;每条回复的得分均为零。
- 每个模型占一行:具有相同权重的其他量化级别和服务层级都列在主行下方(点击箭头展开),且不予排名。
- ⚠ 暂定状态 = 未显示排名;原因会在相应行中说明(兼容性检查未通过、测试尚未完成,或奖励包需重新测试)。可重新测试的条目在重新测试后会获得排名;而测试结果低于Q5标准的条目以及因规模过小而无法参与所有测试的模型则仍保持无排名状态。
- 在“总计”栏中的短横线表示该型号的某个运行项目(代码、聊天功能或奖励包)尚未评分,因此未被排名。
这些额外的列所衡量的是什么
这些列仅出现在此选项卡中。点击每个列标题旁边的 i 即可查看相应说明;标准分数的解释则见于 测试说明。
聊天记录/对话历史
“聊天会话”是对所有8次聊天会话的平均评分:包括以背景故事为核心的角色扮演、与虚拟伙伴的对话,以及由多个声音共同演绎且情节由众人共同创作的剧情。Chat模型的评分标准与此相同,结果以百分比而非分数形式呈现。一个名为Gemma 4 31B (uncensored “heretic” build, Q8) on our own GPU rig的评判模型会根据检查清单对回复进行打分,其余情况则依据纯文本规则来处理。
不适宜公开的内容评分
NSFW评分用于衡量模型在处理成人题材内容及角色扮演任务时的能力。在这些任务中,所有角色均为成年人。该评分会考量模型是否响应了请求、生成的内容是否直白且文笔出色,以及是否符合角色设定。这是一项独立的测试,其得分不会计入总分中。分数越高,说明模型的表现越出色;不过这种表现只适用于某些特定场景,而非所有情况。在标准测试中,满分即为10分;而通过额外的奖励包还能获得更多加分,本套件中的最高得分可达14分。
心甘情愿/乐意如此
只有当模型真正写出请求内容、且未对其进行清理处理、也未添加任何免责声明或说教时,Willing才会将该请求视为已完成。它是影响NSFW评分的两个因素之一;另一个因素就是NSFW质量。
不适合公开观看的内容/不适宜展示的品质
NSFW质量评分是NSFW总分的组成部分之一(“Willing”则是另一部分)。由一个评判模型Gemma 4 31B (uncensored “heretic” build, Q8) on our own GPU rig来打分:它评估模型对请求的响应程度、描述内容是否符合请求要求且是否足够直白,以及是否遵守了角色卡上的各项规则。所有角色均为成年人。即便回复写得再好,但若是拒绝或回避请求的话,也得不到什么分数。
Main Bench特意将这项测试排除在外。NSFW评分用于衡量模型在处理成人题材小说及角色扮演时的表现程度——所有角色均为成年人。有些读者希望了解这一指标,而另一些则不然。该评分独立于标准测试体系,也从不计入“Total”总分中;分数高低本身并无优劣之分:请根据自身需求来选择合适的模型。
此表格包含了Main Bench的所有常规评分项,以及NSFW评分与“Deep RP”指标(“Deep RP”即长篇角色扮演内容,属于Chat测试的一部分,但Main Bench并未将其列入常规表格)。您可通过“Columns”选项来隐藏任意一列。
本页面面向以下人群:那些打算选用本地部署或云端托管模型来进行小说创作、角色扮演或人物对话的用户;他们希望在下载前了解该模型是会继续推进剧情发展,还是会突然中断并说教一番。那些被设计成会拒绝不当请求的模型在NSFW评分上数值较低;而那些能无条件满足任何指令的模型则得分较高;多数优秀的通用型模型则处于中间水平。需要注意的是,该评分仅反映模型的“自由度”,并不代表其实际写作质量如何;欲了解文本质量情况,请查看“Chat”一栏。
针对成人内容的进阶测试包也正在开发中,预计会在下一个版本4.5中推出。
阅读方法:先按NSFW评分排序以了解各模型的水平区间,随后再对比您心仪模型的“Total”与“Chat”数值。那些经过微调处理或无审查限制的变体模型均带有“Built on”标签,标明了其基于的原版模型信息;借此您便可对比原版与变体版本在代码及对话表现上的差异。本次测试使用的是仅包含成人角色的固定提示文本,评分标准也与其他测试项目保持一致。此处并未公开任何示例输出内容。
请求生成模型 想测试某个模型?在列表中搜索,点击+1,或者提交一个新的模型。