模型基准测试、用例及设置：2026年11月

前往 GitHub 上的 CrucibleForge

在2026年11月，您应该选择哪种语言模型来完成特定任务？又该如何配置呢？本指南基于MakoBench 4.1测试中对11种模型的综合评分来为您解答这些问题。完整的评分列表中还包含更多模型；这11个则是我们本月重点对比的对象。您将了解到各模型的得分情况、最适合编程与聊天任务的模型选择、构建“领导层+程序员”协作环境的五步配置流程，以及单次运行或整个项目所需的成本。

一目了然的汇总信息

• 综合表现最佳：共有五个模型并列第一。Kimi K3.1 Pro、Claude Fable 5.2、Grok 4.7、GPT-6 Astra以及GPT-6.1 Sol的得分均在23.9至25.2之间。虽然Claude Fable 5.2被列在首位，但实际上这五个模型在统计上不分伯仲。
• 最适合自主编程任务的模型：如果预算不是问题，首选Claude Fable 5.2：它的工作表现得分高达12.5，具备完美的自主编程能力，在标准测试中也取得了100%的通过率。若预算有限，则可选择GPT-6 Astra或GPT-6.1 Sol；它们同样具备出色的自主编程能力，但在标准测试中通过率为66.7%。
• 性价比最高的编程模型：DeepSeek V4.1-Flash-1017。其标准编程测试得分为10.0，单次运行成本仅为0.14美元。
• 最适合聊天或客服场景的模型：通过API使用的话，GPT-6.1 Terra是不错的选择（聊天得分9.2，单次运行成本0.63美元）；若希望在本地硬件上运行，则可选用Swish 31B Final。聊天表现最出色的则是Claude Fable 5.2，得分为12.7，不过单次运行成本为14.87美元。
• 最适合在本地硬件上运行的模型：Swish 31B Final的综合得分为16.3，无需支付任何API费用，非常适合需要完全本地化处理的聊天或其他任务。
• 推荐的模型组合方案：由Claude Fable 5.2负责规划与审核工作，DeepSeek V4.1-Flash-1017则负责编写代码。据估算，构建一个ChatForge规模的系统需花费4.82美元；而构建一个DisPatch规模的系统则需57.86美元。
• 补充说明：最初Claude Fable 5.2在三项自主编程测试中的得分均为0，原因是我们的API账户在测试中途余额耗尽。重新测试后，该模型顺利通过所有测试，得分也从24.2提升到了25.2。

通过两个问题来选择合适的模型

首先确定任务类型，然后回答一个问题即可。如果是代码相关任务，则需询问预算情况：预算充足时应选择 Claude Fable 5.2；预算有限的话则推荐 DeepSeek V4.1-Flash-1017，其每次运行成本仅为 0.14 美元。若是聊天类任务，则需确认是否需要在本地硬件上运行：若通过 API 调用，可选择 GPT-6.1 Terra，每次运行成本为 0.63 美元；若需在本地运行，则推荐 Swish 31B Final。这些选择正是本指南中各项数据所支持的推荐方案。

任务是什么？

↓

代码相关任务

预算如何？

预算充足

↓

Claude Fable 5.2价格最高

预算有限

↓

DeepSeekV4.1-Flash-1017

聊天类任务

需要在本地硬件上运行吗？

不需要

↓

GPT-6.1 Terra性价比高的聊天模型

需要

↓

Swish 31B Final无需支付 API 费用

2026年11月版评测榜单

更正说明：本指南的早期版本给 Claude Fable 5.2 的总分标注为24.2，并注明该分数为暂定值。实际上，该模型的三项智能体能力测试得分为0，原因是测试过程中我们的API账户额度耗尽，而非模型本身未能通过测试。我们随后借助Anthropic的官方API并启用提示缓存功能重新进行了测试，花费了10.81美元。最终该模型三项测试全部合格，其“工作类任务得分”也从11.5提升至12.5，“总分”则从24.2升至25.2。

总分等于“工作类任务得分”与“对话类任务得分”之和；“工作类任务得分”对应榜单中的代码能力相关评分。该数值包含了模型解锁的奖励包所带来的加分，因此并非以20分为满分的标准化评分。常规测试对“工作类任务得分”与“对话类任务得分”各自设定的上限均为10分，故常规总分上限为20分；本次公布的各模型总分最高可达28分。“成人内容处理得分”属于独立测试项目，不计入总分。该数值越高，仅代表模型在生成面向成年读者的虚构内容方面表现越出色，并非意味着其整体能力更优。“代码能力/智能体能力得分”则分别反映模型在编程类任务与智能体相关任务上的表现，并非整体程序评分。运行成本指的是按服务商定价执行一次标准代码与对话类任务所需的费用，该数值未计入任何奖励包、成人内容测试及重试产生的费用。“本地运行”指使用我们自有的硬件进行测试，不会产生API费用。满分包即得分达到1.000的奖励包；本次参与评测的所有模型均未存在尚未评分的已解锁奖励包。测试过程中出现额度耗尽或出错情况的模型仍被视为测试失败，其排名也保持不变：DeepSeek V4-Pro-0813有11个测试项未通过，DeepSeek V4.1-Flash-1017有5个测试项未通过，MiniMax M3.1 Flash有7个测试项未通过且还有1个测试因预算限制未能执行，Kimi K3.1 Pro有2个测试项未通过，Claude Fable 5.2有1个测试项未通过，Grok 4.7则有1个测试项出现错误。

奖励包 可添加到“工作”与“聊天”模块中

↓

工作模块 对应代码测试部分

聊天模块 对应聊天测试部分

↓

总计 “工作模块”与“聊天模块”得分之和

不属于总计范围内的部分

成人内容测试 单独的评分项目

榜单最顶端属于并列状态，并非真正的排名。Claude Fable 5.2、Kimi K3.1 Pro、Grok 4.7、GPT-6 Astra以及GPT-6.1 Sol的得分均在23.9至25.2之间。榜单虽将它们依次排列为第1至第5名，且Claude Fable 5.2位列第一，但这些分数差距仍在其允许的误差范围内；按照规则，数值如此接近的模型应视为并列。表格中的排序并不代表真正的优胜者。紧随其后的GPT-6.1 Terra、DeepSeek V4.1-Flash-1017与DeepSeek V4-Pro-0813的得分则在18.4至19.4之间。本土模型中表现最佳的Swish 31B Final得分为16.3。在标准代码测试方面，顶尖模型的表现已趋于饱和：Kimi K3.1 Pro、Claude Fable 5.2、Grok 4.7以及DeepSeek V4.1-Flash-1017的得分均达到了10.0这一上限，因此24至25分的群体对应的是奖励包与聊天测试成绩，而非更高的代码能力评分。使得该群体与DeepSeek V4.1-Flash-1017拉开差距的因素正是聊天测试表现：前者的得分为12.4至12.7，后者仅为7.6。

有三点值得注意。在相同任务下，各模型的运行成本相差两个数量级：执行一次标准测试，Claude Fable 5.2需花费14.87美元，GPT-6 Astra需5.70美元，Grok 4.7需3.91美元，而DeepSeek V4.1-Flash-1017仅需0.14美元。在成人内容测试方面则呈现出相反的趋势：Claude Fable 5.2（12.0）、Swish 31B Final（11.8）、Grok Build 0.1（11.7）、Grok 4.7（11.5）以及DeepSeek V4.1-Flash-1017（10.0）均成功通过了全部九个测试案例。而OpenAI旗下的三款模型在涉及成人文学内容的测试中表现不佳，得分仅为1.3至1.6。Kimi K3.1 Pro更是有四个测试案例未能通过，相关得分为零。这些表现差异源于模型本身的性能差异，而非内容过滤机制——本次测试中没有任何回复被内容过滤器拦截。最后一点是，在智能体相关任务方面各模型的表现差距明显；速度方面也参差不齐。三款OpenAI模型在智能体任务中的得分均为66.7%，而Kimi K3.1 Pro、Claude Fable 5.2、Grok 4.7以及DeepSeek V4.1-Flash-1017则均取得了满分。GPT-6.1 Terra则是本次测试中运行速度最快的模型。Grok Build 0.1的生成速度为每秒8.4个标记，慢于同榜单上的Swish 31B Final，后者的生成速度可达每秒41.3个标记。

使用场景：何种任务适合用哪个模型

新软件的自动化编码

• 预算无限制时：Claude Fable 5.2。 优点：在此测试组中聊天得分最高（12.7），工作表现也位列第一（12.5）；在所有指标上均表现优异，编码能力满分且无任何任务拒绝情况。缺点：单次标准运行费用高达14.87美元，是此处最昂贵的模型。
• 性价比之选：GPT-6 Astra或GPT-6.1 Sol。 优点：与Claude Fable 5.2类似，它们同样具备出色的自动化编码能力；单次运行成本分别仅为5.70美元和1.17美元。缺点：在标准自动化测试中得分均为66.7%，且无法处理涉及成人内容的任务。
• 中等价位之选：Grok 4.7。 优点：工作表现得分为11.7，在此组中排名第三（仅次于Claude Fable 5.2的12.5与Kimi K3.1 Pro的12.0）；聊天得分12.4；单次运行费用仅3.91美元，约为Claude Fable 5.2费用的四分之一。缺点：输入令牌收费为每百万个2美元、输出令牌则为每百万个6美元；在速度测试中它使用了696,485个推理令牌，因此长时间运行自动化任务成本不低。
• 最经济之选：DeepSeek V4.1-Flash-1017。 优点：标准编码能力得分为10.0（满分），工作表现也达到11.6，接近其他顶级模型水平；单次运行费用仅为0.14美元。缺点：聊天得分仅7.6，因此面向用户的对话功能需借助其他模型来实现。目前的0.14美元价格是基于旧收费标准的计算结果；若按当前公布的新费率计算，成本会更高。

聊天机器人或客服系统

客服系统无需过高的成人内容处理能力。选择时应综合考虑聊天能力、价格以及系统是否需部署在本地硬件上。

• GPT-6.1 Terra。 优点：聊天得分9.2；单次运行费用仅0.63美元，输入令牌收费为每百万个1美元、输出令牌则为每百万个5美元。这是性价比最高的聊天型模型，也是该组中运行速度最快的模型。缺点：在自动化测试中得分仅为66.7%。其程序生成与代码库构建能力均为满分，说明它只是无法完成自动化任务而非完全不具备编码能力；不同测试样本中的处理速度差异极大，从每秒72个令牌到1,044个令牌不等。
• Grok 4.7。 优点：聊天得分12.4，在此组中名列前茅；单次运行费用3.91美元。两个深度角色扮演相关插件的表现也相当出色，得分分别达0.945与0.951。缺点：对话类插件得分为0.814、人物塑造类插件仅为0.483，因此在需要维持特定人物形象的场合表现较弱。输入与输出令牌收费均为每百万个2美元与6美元；另有15倍加速套餐可选，但3.91美元为常规计费标准，并非该套餐价格。
• Claude Fable 5.2。 优点：此组中聊天能力最强（12.7），单个聊天插件得分也达0.964；无任何任务拒绝情况，且本次测试中并未产生任何推理令牌费用。缺点：输入与输出令牌收费均为每百万个10美元与50美元，与GPT-6 Astra并列为该组中最昂贵的模型。
• 若系统需部署在本地硬件上：Swish 31B Final。 优点：综合得分16.3，无任何任务拒绝情况且无需支付API费用。缺点：自动化测试得分仅为33.3%，工作表现仅8.4；处理速度较慢，仅为每秒41.3个令牌。

设置步骤：协调器、主导模型与代码生成器

在实际工作中，需要一个协调器来统筹流程，一个能力较强的模型负责规划与审核，再搭配一个成本较低的模型来编写代码。DeepSeek Harness（dsh）即为此协调器；Claude Fable 5.2则作为主导模型负责规划与审核工作；DeepSeek V4.1-Flash-1017则是代码生成器：其编码能力已接近极限，每次运行成本仅为0.14美元。另外，MiniMax M3.1 Flash在规定的令牌使用范围内可处理大量任务，之后再由Claude Fable 5.2对输出结果进行审核。Grok 4.7则是在希望用单一模型完成所有工作时的替代选择。整个设置过程共包含五个步骤。

dsh负责流程协调

↓

主导模型：Claude Fable 5.2负责规划与审核

↓

代码生成器DeepSeek V4.1-Flash-1017负责编写代码

其他可选方案

MiniMax M3.1 Flash可在限定范围内批量处理任务

Grok 4.7单一模型即可完成所有工作

步骤1：查看面板并选取对应的ID

/makobench/ 查看面板内容

↓

四个ID 位于脚本顶部

↓

LEAD_MODEL

CODER_MODEL

BULK_MODEL

ONE_MODEL

这些模型ID位于脚本的顶部。只需修改它们即可，无需改动下方出现的其他副本。操作前请务必查看 /makobench/ 处的面板内容。

步骤2：设置API密钥

ANTHROPIC_API_KEY 必填

DEEPSEEK_API_KEY 必填

MINIMAX_API_KEY 必填

XAI_API_KEY 可选

该脚本需要 ANTHROPIC_API_KEY、DEEPSEEK_API_KEY 和 MINIMAX_API_KEY。XAI_API_KEY为可选项，仅用于使用单一模型的情况。请在运行脚本前在命令行环境中设置这些密钥。如果缺少任何必填密钥，脚本将会停止运行。

步骤3：运行脚本

setup.sh 以及您的项目路径

↓

models.yml 该文件会被写入临时目录中

↓

不会启动任何运行任务 脚本仅负责写入相关ID信息而已

该脚本会将相关ID信息写入到临时目录下的 models.yml 文件中。它不会启动任何运行任务。使用时请务必提供您的项目路径。

#!/usr/bin/env bash
# Do-it-all coding setup: harness, lead agent, sub-agents.
# Check /makobench/ for the current leaders before changing any id below.
set -euo pipefail

# Board labels. dsh may show a different provider string for the same model.
LEAD_MODEL="claude-fable-5-2"        # Claude Fable 5.2, plans and reviews
CODER_MODEL="deepseek-flash"         # DeepSeek V4.1-Flash-1017, writes the code
BULK_MODEL="MiniMax-M3.1-Flash"      # MiniMax M3.1 Flash, window-limited bulk
ONE_MODEL="grok-4.7"                 # Grok 4.7, optional, one model for all

: "${ANTHROPIC_API_KEY:?set ANTHROPIC_API_KEY}"
: "${DEEPSEEK_API_KEY:?set DEEPSEEK_API_KEY}"
: "${MINIMAX_API_KEY:?set MINIMAX_API_KEY}"
: "${XAI_API_KEY:=}"                  # optional, only for ONE_MODEL

# Set this to the DeepSeek provider id your dsh lists. Do not guess it.
DSH_PROVIDER="${DSH_PROVIDER:?set DSH_PROVIDER}"

PROJECT="${1:?usage: setup.sh /path/to/project}"
JOB="$(mktemp -d)"

cat > "$JOB/models.yml" <<YAML
lead: ${LEAD_MODEL}
coder:
  provider: ${DSH_PROVIDER}
  model: ${CODER_MODEL}
bulk: ${BULK_MODEL}
one_model: ${ONE_MODEL}
YAML

echo "Lead: ${LEAD_MODEL}"
echo "Coder: ${CODER_MODEL} via ${DSH_PROVIDER}"
echo "Bulk, inside the plan window: ${BULK_MODEL}"
echo "One-model alternative: ${ONE_MODEL}"
echo "Id file: ${JOB}/models.yml"
echo "Project: ${PROJECT}"
# Point dsh at CODER_MODEL. Do not hardcode a second model id here.

步骤4：将 dsh 指向对应的编码器

dsh 你的 dsh 工具

↓

DSH_PROVIDER 即你安装的 DeepSeek 相关配置项

↓

deepseek-flash 即编码器的标识符

只需将 dsh 指向对应的编码器标识符即可。dsh 的提供程序字符串就是你安装的 DeepSeek 相关配置项；该编码器的 API 标识符为 deepseek-flash。

步骤5：在限制范围内安排任务

DeepSeek使用高峰时段（UTC时间）

00:0012:0024:00

周一至周五

01:00 至 04:00

06:00 至 10:00

非高峰时段 费用减半

在非高峰时段使用DeepSeek可享受半价优惠。高峰时段为UTC时间周一至周五的01:00至04:00以及06:00至10:00。请在此时间段之外安排繁重的编码工作。

MiniMax套餐 5小时或每周使用限额

↓

402 使用限额已用尽

↓

切换至其他模型 DeepSeek V4.1-Flash-1017

MiniMax套餐的费用是固定的。在5小时或每周使用限额用尽前，几乎不会产生任何API费用。代码“402”仅代表使用限额已用完，并不意味着套餐就此终止。此时应切换至DeepSeek V4.1-Flash-1017模型以继续开发工作。对于包含6万行代码的工程而言，5小时的使用限额很快就会耗尽，因此该套餐其实是一种流量限制机制，而非完全免费的特权。

项目成本估算

这些数值是基于定价表得出的估算值，并非实际项目的测量数据。目前尚无此类规模项目的详细令牌消耗记录。相关假设如下：每行源代码对应15个令牌；因此一个包含5,000行代码的 ChatForge规模项目需要75,000个令牌，而一个包含60,000行代码的 DisPatch规模项目则需900,000个令牌。若使用智能代理重新读取源代码，则中等带宽模式下输入/输出令牌数分别为源代码的12倍与3倍；高带宽模式下则分别为20倍与5倍。全新项目的缓存命中率为零。DeepSeek的定价则依据非高峰时段的实时费率计算。此处所列为单次构建成本，不含后续维护费用，也不包含评估环节及图像生成所需的费用。

代码行数5,000 或 60,000 行

↓

源代码令牌数每行15个令牌

↓

智能代理重新读取源代码中等带宽：输入12倍、输出3倍高带宽：输入20倍、输出5倍

↓

每百万令牌价格依据定价表计算

↓

项目总成本仅限单次构建的估算值

Claude Fable 5.2在此项目中并未使用任何推理类令牌，因此中等带宽数值适用于它。若智能代理全程进行深度思考，则高带宽下的成本分别为$33.75与$405。DeepSeek V4.1-Flash-1017的高带宽成本则为$0.45与$5.40。高峰时段的费率是非高峰时段的两倍，因此此时的中等带宽成本分别为$0.54与$6.48——但这仍不属于高带宽范畴。在混合配置下，Claude Fable 5.2负责处理20%的输入数据及25%的输出数据，其余工作由DeepSeek V4.1-Flash-1017完成；此配置在非高峰时段下的成本即为$4.82与$57.86。若改用MiniMax M3.1 Flash作为编码工具，则计划窗口内的编码成本可降至零美元，不过其工作效率仅为8.0（相对标准值为11.6），这意味着需要更多审核流程；而这些额外流程所产生的费用并未计入前述的$4.61与$55.35之中。

推荐方案

对于类似 DisPatch 或 ChatForge 这样的项目，建议采用混合技术栈：由 Claude Fable 5.2 负责规划与审核工作；DeepSeek V4.1-Flash-1017 负责编写代码；DeepSeek Harness 则用于执行相关流程；GPT-6.1 Terra 负责回应用户咨询。以 ChatForge规模的项目为例，使用此混合方案的成本约为 4.82 美元；而针对 DisPatch规模的项目，成本则为 57.86 美元。若仅依靠 Claude Fable 5.2来完成全部工作，成本将分别达到 20.25 美元与 243 美元；如果完全交由 DeepSeek V4.1-Flash-1017处理，成本则仅为 0.27 美元与 3.24 美元。综合来看，选择成本最低且能满足需求的模型即可；高端模型则更适合用于规划与审核环节。需注意的是，上述 4.82 美元仅指项目构建成本，并非单次对话费用。若仅使用 GPT-6.1 Terra来完成整个项目：对于 ChatForge规模的项目，成本为 2.03 美元；对于 DisPatch规模的项目，成本则为 24.30 美元。这些均属于仅依赖 Terra即可完成的完整项目方案，可作为混合技术栈的替代选项——用户只需选择其中一种付费方式，不可同时支付两者费用。此外，MiniMax Token Plan适用于在指定时间窗口内处理批量任务，可将其视为一种流量控制手段。请注意：切勿选择 DeepSeek V4-Pro-0813而放弃 DeepSeek V4.1-Flash-1017——后者的评分更高（19.2 分对比 18.4 分），且价格更为实惠。若您更倾向于仅使用单一模型而非混合技术栈，那么 Grok 4.7是理想之选：其综合评分为 24.1 分，对话能力得分为 12.4 分；针对 ChatForge与 DisPatch规模项目的预估成本分别为 3.15 美元与 37.80 美元。该模型的执行成本仅为 3.91 美元，约为 Claude Fable 5.2所需成本（14.87 美元）的四分之一。

满分套餐，以及接下来的计划

在这一系列测试中，有四款模型在各自的测试包中取得了完美的1.000分：

• Claude Fable 5.2：工作/推理能力排名第1，自主行动能力排名第1，成人写作能力排名第2。
• Grok 4.7：工作/推理能力排名第1，成人写作能力排名第2。
• GPT-6 Astra：自主行动能力排名第1。
• GPT-6.1 Sol：自主行动能力排名第1。

没有任何模型在代码测试包中获得1.000分。表现最好的是GPT-6 Astra，得分为0.917。聊天测试包方面也无人达到满分；表现最佳的是Claude Fable 5.2的聊天/深度角色扮演能力，得分为0.964。需要说明的是，“MAX”标记仅表示某个子项达到了其所属类别的最高水平，并不意味着整个测试包都完美无缺。正因如此，尽管GPT-6 Astra的代码测试得分仅为0.917，它仍被标记为“MAX”。即便在某个测试包中表现优异，该模型也并不会就此退出测试流程。目前MakoBench 4.5测试正在进行中，届时将推出难度更高的测试包以进行全面评估；因此这些4.1版本下的测试结果只是当前的最高水平，并非最终定论。

各模型的各项得分、测试项目列表以及运行成本信息均可在 MakoBench 排行榜上查看。