模型基准测试、用例及配置：2026年11月

前往 GitHub 上的 CrucibleForge

在2026年11月，您应该选择哪种语言模型？又该如何进行设置呢？我们对11种模型进行了相同的MakoBench 4.1测试。本指南将为您推荐适用于各类任务的模型，以表格形式列出各项评分，还提供了五步编码设置流程以及项目的预估成本。

简短回答

从具体任务出发进行选择即可。每张卡片都列出了我们推荐的模型以及该模型执行一次标准测试所需的费用。

按任务选择模型

• 编程任务，追求最佳效果Claude Fable 5.2工作表现优异，通过了所有测试每次运行费用：14.87美元
• 预算有限的编程任务DeepSeek V4.1-Flash-1017在标准编程测试中取得了满分每次运行费用：0.14美元
• 聊天或客服用途GPT-6.1 Terra聊天表现良好，也是所有模型中速度最快的每次运行费用：0.63美元
• 必须在自有硬件上运行Swish 31B Final目前最适合在本地运行的模型无需支付API费用
• 希望用一个模型应付所有任务Grok 4.7排名前五的模型之一，聊天表现出色，价格仅为Fable的四分之一每次运行费用：3.91美元

只需记住一点：排名前五的模型性能不相上下。因此，只有在那些低价模型无法胜任的任务上才值得花钱选用昂贵的模型。在本指南中，这类任务主要指代码规划与审查。

2026年11月的评测结果

总分 = 代码能力得分 + 对话能力得分。标准测试中每项最高可得10分，完成额外奖励任务还能获得更多分数，因此总分有可能超过20分。智能体任务完成率指模型成功完成的多步骤编程任务比例。运行成本是指按服务商定价进行一次标准运行所需的费用。MiniMax的标价基于令牌数量计算，因为它提供的是固定套餐服务。

表格说明：

• 前五名模型成绩相当。它们的得分都在23.9至25.2之间，误差范围相近；排名并非严格意义上的优劣排序。
• 价格才是区分它们的关键。例如，运行一次GPT-6.1 Sol仅需$1.17，而运行Claude Fable 5.2则需$14.87。
• OpenAI系列模型在三项智能体任务中总会有一项未能完成。这对无人值守的编程任务影响较大，但对日常对话则影响不大。
• DeepSeek V4.1-Flash-1017的代码能力出色，但对话能力较差。其代码能力得分为11.6，对话能力仅为7.6。适合用于编程场景，不适合与人交流。
• DeepSeek V4-Pro-0813性价比很低。它的得分低于Flash版本，但运行成本却高出四倍。

更正说明：Claude Fable 5.2最初显示的得分为24.2。由于API账户额度耗尽，其中有三项智能体测试未能成功完成。我们重新进行了测试，该模型全部通过，因此最终总分更新为25.2。

另外还有一个专门的成人内容写作测试模块，它独立于本表格之外，也不计入任何评分或排名中。所有测试详情均可在 MakoBench评测平台 上查看。

设置推荐的编程开发环境

进行实际编码工作时，建议将任务拆分处理：由一个控制程序负责循环执行流程；一个性能强大的模型负责规划与审核；而一个成本较低的模型则负责编写代码。

开发环境构成

1. 控制程序DeepSeek Harness (dsh)负责循环执行流程并调用各模型
2. 主导模型Claude Fable 5.2负责规划任务并审核所有代码变更
3. 编码模型DeepSeek V4.1-Flash-1017负责编写代码并提交以供审核

为何要这样分配任务呢？Claude Fable 5.2在工作表现上名列前茅且通过了所有测试，但它也是成本最高的模型。而DeepSeek V4.1-Flash-1017在标准编程测试中同样取得了满分，其成本仅为前者的百分之一左右。因此，让主导模型专注于决策判断，让编码模型负责大量代码编写工作吧。如果您希望仅使用一个模型来完成所有任务，则可选用Grok 4.7。

整个设置过程共需五个步骤。

五个步骤

1. 确认推荐模型在复制相关ID之前，请先确认所选模型仍为最优选项。/makobench/
2. 设置API密钥与服务商名称分别为主导模型和编码模型配置API密钥，同时填入dsh所要求的DeepSeek服务商名称。若缺少任一信息，脚本便会终止运行。ANTHROPIC_API_KEY · DEEPSEEK_API_KEY · DSH_PROVIDER
3. 运行初始化脚本该脚本会将相关模型ID写入文件，随后不会执行其他操作。setup.sh ~/my-project
4. 配置dsh指向编码模型将服务商名称及从文件中获取的编码模型ID告知dsh即可。deepseek-flash
5. 在低谷时段执行大型任务DeepSeek在非高峰时段的费用减半，其高峰时段为周一至周五：01:00–04:00 · 06:00–10:00 UTC

以下是用于步骤2与3的脚本内容。相关模型ID位于文件顶部，请仅在此处进行修改。

#!/usr/bin/env bash
# Coding stack setup: harness, lead agent, coder.
# Check /makobench/ for the current leaders before changing an id.
set -euo pipefail
# Board ids. Your provider or dsh may spell the same model differently.

LEAD_MODEL="claude-fable-5-2"     # Claude Fable 5.2: plans and reviews
CODER_MODEL="deepseek-flash"      # DeepSeek V4.1-Flash-1017: writes the code

: "${ANTHROPIC_API_KEY:?set ANTHROPIC_API_KEY}"
: "${DEEPSEEK_API_KEY:?set DEEPSEEK_API_KEY}"
# The DeepSeek provider id your dsh lists. Do not guess it.
DSH_PROVIDER="${DSH_PROVIDER:?set DSH_PROVIDER}"

PROJECT="${1:?usage: setup.sh /path/to/project}"
JOB="$(mktemp -d)"

cat > "$JOB/models.yml" <<YAML
lead: ${LEAD_MODEL}
coder:
  provider: ${DSH_PROVIDER}
  model: ${CODER_MODEL}
YAML

echo "Lead:  ${LEAD_MODEL}"
echo "Coder: ${CODER_MODEL} via ${DSH_PROVIDER}"
echo "Ids written to ${JOB}/models.yml for ${PROJECT}"

费用情况

一次标准的测试运行就能直观显示出各模型间的价格差异。每条柱状图代表一次运行所需的成本，旁边则标注了该模型的综合得分。

一次标准运行的结果

• Claude Fable 5.214.87美元综合得分：25.2
• GPT-6 Astra5.70美元综合得分：24.0
• Kimi K3.1 Pro4.07美元综合得分：24.6
• Grok 4.73.91美元综合得分：24.1
• GPT-6.1 Sol1.17美元综合得分：23.9
• GPT-6.1 Terra0.63美元综合得分：19.4
• DeepSeek V4.1-Flash-10170.14美元综合得分：19.2

整个项目的成本要高于一次测试运行，因为智能代理需要反复读取代码。这些数值是根据各模型的代币单价估算得出的，并非实际构建过程中的真实账单。一个规模相当于ChatForge的项目大约包含5,000行代码；而DisPatch项目则约有60,000行。

估算方式如下：每行代码对应15个令牌；智能代理会读取代码12次并写入3次，且没有任何缓存机制。目前DeepSeek的价格处于非高峰时段水平；在高峰时段其费用会翻倍。在推荐方案中，Claude Fable 5.2负责约五分之一的代码读取工作以及四分之一的写入任务。

采用推荐方案的成本仅为单独使用Claude Fable 5.2时的四分之一左右，同时该模型仍负责整体规划与代码审核。虽然仅使用DeepSeek成本更低，但缺乏强有力的机制来确保代码质量。因此，对于任何需要正式发布的项目而言，推荐方案才是最佳选择。