我的 AI 智能体为我的多个 AI 智能体构建了一个基准测试工具
- 发布日期
- 2026年8月11日
- 更新日期
- 2026年11月9日
- 作者
- Jacob Lloyd —— 项目完成后,在 AI 协助下撰写
- 阅读时长
- 约 27 分钟阅读
简单来说: 我们的 AI 编码智能体编写了 bench-llm,这是一个单一的 Python 文件,用于测试本地模型的速度以及它能否完成简单任务。它至今仍可使用,并且可以免费下载。它在两周内就变得太简单了,因此我们改用 CrucibleForge——一个更大的免费工具,它会提出 276 个问题,并运行模型编写的代码来检查。
2026-08-11,我们要求我们的编码智能体开发一个工具,用于对我们的智能体栈中的本地模型进行基准测试。它交回了 bench-llm:1,660 行 Python 代码,用于测量模型在 LM Studio 中的速度、运行模型编写的代码,并检查模型能否处理一个小型智能体任务。不到两周,我们关心的每个模型在该测试中都得了 5/5 分,因此我们将其重建为 CrucibleForge:截至 2026 年 10 月共有 276 个用例,其中 166 个为高难度用例,在 GitHub 上开源。本页面涵盖两者。使用 bench-llm 可在五分钟内获得模型的初步分数。当你需要对所有都能通过简单测试的模型进行排序时,请使用 CrucibleForge。
简而言之
- bench-llm:一个 Python 文件,免费下载。它测试速度(首个 token 的时间、每秒 token 数)、能力(5 项测试:代码、逻辑、JSON、指令、摘要)和智能体适用性(针对一个 syslog 任务的 3 项检查)。需要 Python 3.8+、
pip install openai requests和 LM Studio。 - 为何停用:一旦优秀模型全部通过,5 项能力测试和 3 项智能体检查就无法再区分模型。
- CrucibleForge 3.6:276 个用例,166 个高难度。代码在沙盒中运行,并按结果评分。它可与任何 OpenAI 兼容端点配合使用,配有 Web GUI,现在还可在 Docker 和 Windows 上运行。MIT 许可证,github.com/LaserLloyd/CrucibleForge。
- 排行榜显示:Kimi K3.1 Pro 在 2026-11-08 的排行榜上以 20 分中的 19.3 分获得最高分,不过排行榜自带的配对测试称全部 26 个模型打成平手;MiniMax M3 首次获得评判分数(14.6,若计入其重跑结果则为 15.5),每次运行约 0.57 美元,整个排行榜花费 68.21 美元。
更新日志:2026-08-26,bench-llm 停用,结果移至后续测试套件。2026-09-16,CrucibleForge 章节重写,排行榜根据保存的运行文件重建,封面重绘。2026-10-19,CrucibleForge 章节针对 3.6.0 更新(新增内容):当前安装方式、一键式基准测试、Docker。2026-11-02,模型排行榜根据 2026-11-02 的运行(套件 4.0.0)重建。2026-11-09,高难度层级排行榜根据 2026-11-08 的运行(套件 4.1.0)重建:26 个受评模型,运行成本重新列入排行榜,MiniMax M3 首次获得评分。
最终会得到什么
对某个模型执行一条命令后,会输出类似内容(此为示例输出,已做精简):
$ bench-llm gemma-4-31b-it
bench-llm — Benchmarking: gemma-4-31b-it
GGUF Size: 16.5 GB Quant: Q4_K_M
⚡ SPEED BENCHMARKS
short_50 TPS: mean=84.2 TTFT: mean=0.231s
medium_200 TPS: mean=85.7 TTFT: mean=0.312s
long_800 TPS: mean=82.1 TTFT: mean=0.541s
🔍 Validating speed plausibility... Confidence: HIGH
🧠 ABILITY TESTS
Code Generation (median_of_list)... PASS
Logic Puzzle (Pet Ownership)....... PASS
JSON Compliance.................... PASS
Instruction Following.............. PASS
Summarization (Key Facts).......... FAIL
Ability Score: 4/5
🤖 AGENT FITNESS TESTS
Task Acknowledgment / Format Adherence / Conciseness: PASS
Agent Fitness Score: 3/3
📄 Results saved: ~/benchmarks/gemma-4-31b-it-2026-08-11.json
该 JSON 文件包含了所有的原始计时数据、每个模型的响应结果以及汇总信息。您可以将此文件交还给您的智能体,并询问:“我们的哪些模型适合处理大量 JSON 数据呢?”
Bench-LLM测试的内容
速度测试
测试时会发送三种长度的提示文本(约50、200和800个字符),先进行预热运行,随后测量三项指标。TTFT(首个标记生成时间)即等待文本出现所需的时间;如果超过500毫秒,在聊天体验中就会显得很迟缓。吞吐量(每秒生成的标记数)则表示模型开始工作后的输出速度。Prefill T/s则是模型读取提示文本的速度。
此外,系统还会依据已知的硬件性能极限进行合理性校验。比如,若一个30GB大小的模型声称能在7900 XTX显卡上实现200 T/s的吞吐量,Bench-LLM会标记该数值为异常——因为推测性解码或缓存预热很可能导致数据失真。
能力测试
- 代码生成:要求编写
median_of_list(numbers)函数,同时需处理各种边界情况。Bench-LLM会实际执行该函数并验证其结果是否正确。 - 逻辑推理:一道涉及四个人与宠物归属关系的逻辑题。校验程序会从模型的回复中提取出所有正确分配结果。
- JSON格式合规性:要求返回含有特定键名的JSON对象;这是模型用于工具调用的最低要求。
- 指令遵循能力:要求列出1至10的数字,标出其中的偶数并求和。计算本身很简单,重点在于输出格式是否符合要求。
- 摘要生成:要求对一段内容密集的段落进行压缩,同时保留六个关键事实信息。多数模型往往会遗漏至少一项关键信息。
智能体适配性测试
该测试模拟了一个真实的智能体任务:从系统日志中筛选出包含“ERROR”字样的记录,按服务分类后以JSON格式输出报告。整个测试包含三项校验标准:
- 任务理解程度:模型是否明确说明了自己的执行方案以及无法完成的任务?若模型凭空编造日志内容,则判定为不合格。
- 格式规范度:输出内容中是否含有
services数组、total_errors整型数值以及scan_period字符串? - 输出简洁性:输出的字符数与输入提示的长度之比。若模型对仅1300字符的提示生成了2万字符的回复,则会被标记为“冗余”——因为如此啰嗦的输出会导致智能体频繁耗尽上下文窗口容量。
构建过程
我们给编程智能体的指令只有一句话:“我们需要一个工具,能对 LM Studio 中的本地模型进行基准测试,检测其处理速度与智能程度,并输出 JSON 格式的结果及表格。” 当天下午,该智能体便分四步完成了这个工具的开发:首先通过 LM Studio 提供的兼容 OpenAI 协议的流式 API 进行速度测试;接着是功能验证;随后完成具体任务实现;最后进行优化处理(包括在磁盘上定位 GGUF 文件、执行合理性校验,以及实现 --quick、--list 和 --check 等功能)。所有代码均由智能体自行编写。我们则负责在真实模型上运行该工具并提出反馈意见。之所以加入合理性校验环节,是因为我们曾告知智能体:对于拥有1230亿参数的模型而言,某个指定的吞吐量数值是不可能实现的。
以下设计思路值得你在自己的工具开发中借鉴:
- 采用流式处理而非轮询方式。 只有逐令牌计时才能准确获取首次响应时间(TTFT)。
- 确保代码能实际运行。 即便代码看起来逻辑严谨,若无法运行也算作失败。
- 先提取答案再进行校验。 校验程序会剔除诸如“当然!这是您的答案:”之类的冗余前缀,这样测试才能准确评估内容本身而非说明性文字。
- 每次运行时都清空 GPU 缓存。 否则先前模型的缓存数据会导致 TTFT 数值出现偏差。关于 bench-llm 如何实现这一点,请参见下文的相关注意事项。
设置
# 1. Install both dependencies (requests reads LM Studio's model metadata;
# without it every model shows as "not found")
pip install openai requests
# 2. Start LM Studio with at least one model; it listens on localhost:1234
# 3. Run it
./bench-llm --list # what's available
./bench-llm gemma-4-31b-it --quick # smoke test
./bench-llm gemma-4-31b-it # full benchmark
这里没有配置文件,也没有数据库。LM Studio 允许使用任意字符串作为 API 密钥。运行结果会保存在 ~/benchmarks/ 目录下。如果您希望在任何位置运行该脚本,可将其复制到 PATH 环境变量所包含的某个文件夹中。
注意事项
- 它会终止 llama-server 进程。 每次运行时,它都会执行
pkill -f llama-server命令,然后等待 LM Studio 报告已加载的模型数量为零。此时机器上的所有 llama-server 进程都会被终止。切勿在同时运行其他服务的机器上使用此工具,否则请移除该步骤。 - 编码测试通过
exec()来执行模型输出。 该测试使用的是全新的命名空间,并非沙盒环境。建议以权限受限的用户身份运行此测试;或者使用--speed-only参数跳过各项能力测试。 - 推理类模型的响应速度看似较慢。 TTFT指标会统计包括思考过程在内的第一个标记的生成时间。JSON结果中则将该时间拆分为
ttft_reasoning_s与ttft_content_s两个数值。 - 仅总结类任务未通过却能获得4/5的评分已属不错的成绩了。 实际上几乎所有模型都会遗漏至少一个信息点。
- 对单个模型执行完整测试需要2至5分钟。 若需对比多个模型,可使用
--quick参数;待选出候选模型后再执行完整测试即可。 - 必须确保 LM Studio 处于运行状态。 bench-llm 会连接至 localhost:1234,但不会自行启动 LM Studio。
测试结果:在我们使用的主机与迷你PC上运行的基础模型表现
这些数据来自 bench-llm 之后的测试套件(采用相同的速度测试方法,进行了更多测试;报告日期为2026年8月18日)。所谓“主机”即是一台无显示器的GPU服务器,配备了2块RTX 5090和2块RTX 3090显卡。“迷你PC”则指其内置的集成显卡(当时它仍能运行本地模型服务器)。请仅在同一设备上比较速度。Code、Tools、Instruct以及Reason分别代表各任务的通过率。
| 模型 | 设备 | 生成速度(令牌/秒) | 首次生成延迟 | 代码任务 | 工具调用 | 指令遵循 | 推理能力 |
|---|---|---|---|---|---|---|---|
| Gemma 4 26B-A4B(QAT,Q4) | 主机 | 229.0 | 110毫秒 | 88% | 100% | 50% | 95% |
| Nemotron 3 Nano 4B(Q8) | 迷你PC | 18.5 | 175毫秒 | 92% | 70% | 94% | 95% |
| Gemma 4 12B | 迷你PC | 10.1 | 633毫秒 | — | — | — | — |
Gemma 4 26B这一混合专家模型(实际激活的参数为4B)在主机上表现优异:生成速度达229令牌/秒,首次生成延迟仅为110毫秒,且工具调用成功率极高。不过它在指令遵循方面稍显薄弱——而这正是无监督智能体循环所最依赖的能力。相比之下,运行在迷你PC上的4B版Nemotron模型在指令遵循方面表现更好(94%对比50%)。不过它的生成速度慢了约12倍(18.5对比229令牌/秒),且运行环境也不同。因此请依据您的工作负载需求来选择模型,而非单纯看速度数值的高低。
替代品:CrucibleForge
Bench-LLM因“太过成功”而失去了存在的意义——五项能力测试本应是个不错的评估工具,但当所有模型都能获得满分时,该工具便再无发挥余地。CrucibleForge正是它的重写版本。目前它由约12,000行Python代码构成,其核心原则就是:即便是最难的问题,其评分也应简单易行。
- 166个高难度案例。 包括需要给出整数答案的数学题、具有唯一解的逻辑谜题,以及那些对算法复杂度有明确要求的编程题(例如要求计算逆序对数量,若使用O(n²)复杂度的算法则会超时)。此外还有包含误导性工具与提示注入陷阱的测试、长达12k–24k个token的长文本检索任务,以及多约束条件的指令处理。
- 代码通过实际运行来评分。 代码会在一个无网络访问权限且系统为只读状态的
bwrap沙盒环境中执行,运行时间上限为15秒。程序只有在输出中包含特定标记字符串时才算合格,因此无法通过简单返回零值来伪造成功结果。在 macOS 与 Windows 系统上,若无bwrap环境支持,则必须添加--allow-unsandboxed参数方可运行模型代码。 - 文字类回答配有标准答案。 评判模型可看到正确答案,只需判定待测试模型的回复是否在语义上与之相符即可。任何性能尚可的指令型模型都能胜任此项任务,因此评判环节也不再成为系统的短板。
- 兼容所有OpenAI风格的接口。 无论是 LM Studio、Ollama、llama.cpp、vLLM、DeepSeek、OpenRouter还是其他平台均可使用。托管式模型可并行处理多个测试案例并反馈所需的token消耗成本。API密钥仅能通过环境变量进行配置。
- 能找回那些推理型模型漏掉的答案。 有些推理型模型因过度耗费计算资源而导致最终返回空答案。系统会检测到这种情况,随后关闭推理功能重新发起请求并记录此类情况的发生频率。
recover功能可专门重新处理之前出现此类问题的测试项。 - 能高效共享GPU资源。 在我们的 StudioForge 硬件平台上,每个任务都会按需占用所需的显卡资源;任务结束后这些资源也会立即释放给其他任务使用。相较之下,旧版 Bench-LLM则是通过强制终止所有模型进程来实现资源回收,即
pkill机制。 - 提供网页版用户界面。 访问
127.0.0.1:8777即可选择模型与测试类别、查看运行日志,还能点开任何未通过的测试项查看其提示词、回复内容、推理过程以及评判模型的评语。默认情况下该界面仅接受本地回环地址的请求,使用前还需提供相应令牌方可启用。
试试看
最简单的方案就是使用 Docker,因为容器恰好也是代码模型运行的沙盒环境。在已安装 Docker 的 Linux 系统上:
git clone https://github.com/LaserLloyd/CrucibleForge.git && cd CrucibleForge
cp deploy/compose/.env.example deploy/compose/.env # LLM_BASE_URL defaults to port 1234 on the Docker host
docker compose -f deploy/compose/compose.yml up -d
docker compose -f deploy/compose/compose.yml logs app | grep "GUI:" # open the printed http://127.0.0.1:8777/?token=... URL
或者也可以使用原生方式,在 Linux 上这样就能为编码操作实现 bwrap 隔离效果:
sudo apt-get install -y bubblewrap
git clone https://github.com/LaserLloyd/CrucibleForge.git && cd CrucibleForge
uv sync --python 3.13
uv run crucibleforge config --init # writes models.yaml; set base_url to your server's /v1
uv run crucibleforge status # is the provider up? how many cases?
uv run crucibleforge all --models my-model --fresh --yes
uv run crucibleforge gui # http://127.0.0.1:8777
传递参数 --python 3.13:在裸机上,仅执行 uv sync 就可能会安装比项目所支持的版本更新的 Python。在 macOS 和 Windows 系统中没有 bwrap,因此本地运行时需要在子命令前加上 --allow-unsandboxed(这样模型代码就能以您的权限运行),或者改用 Docker Desktop。如果您的模型服务器需要 API 密钥,请将该变量的名称填入 models.yaml 中对应提供商的 api_key_env 字段;密钥本身则仍需设置在环境变量中。
all 用于运行一次基准测试;profiles/bench.yaml 则指定了 49 个测试用例,这些用例是经过挑选后能最有效区分各模型的最小测试集。随后会进行评分并生成结果报告。每个模型都会获得两个介于 0 到 100 之间的分数。编码能力的评分由确定性评分程序给出,这些程序评估程序的编写、工具使用情况、指令遵循程度以及推理与数学能力。对话能力则通过写作水平、角色扮演表现及可控性来进行评判;该部分还包含一些成人内容相关类别,不过本页面并未予以介绍。其余的 276 个测试用例仍保留在测试套件中,可通过 --cases 或 --categories 来针对性地运行。其他可用命令包括 run、judge、recover、report、pairwise、models、bench-all、import-openclaw 以及 cases。

models.yaml,此时尚未产生任何测试结果:哪些服务提供响应、哪个评判器负责评分,以及测试用例集的情况(共276个用例,其中166个难度较高)。由于本地并未运行任何服务,因此各服务均显示为‘DOWN’状态。我们最信赖的命令就是那个用于检查题目本身的命令。它会在沙盒环境中运行每一个参考解决方案,通过暴力计算重新推导出每一个数学答案,并重新构建出包含大量上下文信息的文本数据。以下是该命令在 2026年10月19日于3.6.0版本的纯净环境下生成的输出结果:
$ uv run crucibleforge cases verify
276 cases checked, 0 with problems (36 reference solutions executed, 37 answers re-derived)
测试套件会执行相同的检查,因此有问题的题目不可能在所有模型中都默默失败,却又能让难度较高的层级顺利通过。
3.6 版本的新变化
CrucibleForge 3.6.0(2026年10月18日发布)改变了项目的安装与运行方式,但并未改变其测量功能。所有的测试用例、评分标准及指标均未发生变化;标记为 3.5.1 的结果仍被视为同一套测试用例的结果,因此现有测试数据不会失效。
- Docker 支持:提供了一个大小约为190 MB的只读型非 root 用户镜像。该镜像中的图形界面可通过
127.0.0.1:8777访问;您的models.yaml配置文件及测试结果则存储在升级后仍可保留的卷中。由于容器本身即相当于一个沙盒环境,因此其中的测试用例无需借助bwrap即可运行;不过该容器仍能访问网络,故应将其视作运行不可信代码的场所。 - Windows 支持:测试套件可在 Windows 系统上顺利运行,CI 流程也新增了 Windows 相关环节。需要注意的是:在 Windows 环境下,防止多个基准测试同时运行的锁定机制并未生效,因此每次只能启动一个测试任务。
- 沙盒自检测机制:如果系统中安装了
bwrap但因其配置问题无法真正起到隔离作用(比如在容器环境或用户命名空间被禁用的情况下),系统会在测试开始前即检测到此情况。此时测试会被拒绝执行;若使用--allow-unsandboxed参数,则会在无沙盒保护的状态下运行并提前发出提示,从而避免所有测试用例均失败的情况。 - API 密钥处理与更清晰的错误提示:当服务器返回 401 或 403 错误时,
status会给出相应提示并指出需要设置的变量名称——这正是 StudioForge 2.0 网关在需要使用 API 密钥时所必需的信息。 - 2026年10月19日的修复:此前,图形界面中的“等待评分的行”按钮会使用那些评分结果不被计入最终统计的备用评分器来处理相关行数据;现在该按钮会像命令行版本一样调用基准测试所使用的评分器,且控制面板也会正确显示该评分器的名称。
升级方法:在原生环境下,只需执行 git pull && uv sync --python 3.13 即可。如果您的 models.yaml 文件中将 StudioForge 的端口设置为 8080,则需将其改为 1234:因为 8080 端口专用于 StudioForge 的控制面板,而 API 则运行在 1234 端口上。系统不会自动修改您现有的 models.yaml 文件。若使用 Docker,则依次执行 git pull 以及 docker compose -f deploy/compose/compose.yml up -d --build;如此操作后卷数据仍会保留,而 down -v 则是用于删除该卷的唯一命令。
报告的样子
report会生成一个Markdown文件和一个JSON文件。每个模型都会有一行汇总信息,以及按类别划分的各行数据,其中记录了各分类下的具体数量。以下是DeepSeek V4 Pro按类别划分的数据行:
| Model | Coding | Math | Tool use | Instruction | Reasoning | Long-context |
| deepseek-pro | 89% (54/61) | 95% (21/22) | 94% (31/33) | 100% (31/31) | 100% (37/37) | 97% (29/30) |
所有失败情况及其原因均被一一列出。它的七次编码失败情况都类似下面第一行所示;第二行则是它两次未能正确使用工具的情况之一:
- deepseek-pro [coding] CZ01-prime-census: TRUNCATED at 32768 tokens (32768 reasoning tokens); no code in response
- deepseek-pro [tooluse] TZ06-three-parallel-one-turn: 1 calls, expected 3
这才是报告的有用之处。该模型其实并未写出糟糕的代码;它只是不断思考,直到32,768个token的预算耗尽,最终什么代码都没生成。如果给予更大的预算或降低推理所需的计算量,结果或许会有所不同。仅凭通过率这一指标是无法反映这种情况的。
对于托管型模型而言,报告中还会显示运行成本,即执行一次标准测试所需的费用(详见MakoBench文档)。
高难度级别的测试结果
这是截至2026年11月9日的测试结果汇总表。该数据是根据2026年11月8日在4.1.0版本上进行的测试重新生成的,并由gemma-4-31B模型进行评分。评分规则如前所述:每个单项评分满分均为10分;综合评分满分则为20分(即编程能力与对话能力的得分之和)。只有当模型在各项测试中达到90%以上的成绩时,才能解锁额外的进阶题目——这些题目共三道,每道价值1分。编程能力测试部分考察的是确定性任务完成情况(如函数编写、预测、漏洞排查以及工具使用);对话能力测试则由评估模型进行评判,涉及深度角色扮演、对话互动、人物塑造及创意写作等方面。评分值后的±符号表示基于Bootstrap法计算得出的90%置信区间;若两个模型的置信区间存在重叠,则说明它们成绩相当,无法分出排名高低。
等级代表得分所处的范围:16分及以上为S级,13分及以上为A级,10分及以上为B级。完成行数占比指在规定的输出预算内成功完成任务的测试用例比例;若某个测试用例用尽了预算则视为失败。目前仍有少数测试用例需要重新执行,因此部分得分可能还会发生变化。运行成本是指按照服务商定价计算出的单次标准测试所需的费用,该费用仅包含模型生成内容所需的开销;评分过程则由我们自己的硬件完成。报告中还列出了各模型的生成速度中位数,但由于这些模型分别在不同的服务商服务器上运行,该数据仅具参考意义,故未在此列出。
全新评分结果——整张榜单上所有模型成绩相当
- 一次测试、一个评估器、同一天完成。以下列出的26个模型均于2026年11月8日在4.1.0版本环境下接受测试,评估器为gemma-4-31B。
- 该榜单自身的配对测试无法区分任何两个模型的成绩。任意相邻两个模型的90%置信区间均存在重叠,这种“成绩相当”的情况贯穿整个榜单,因此所有26个模型都被归为同一等级。表中的数值仅为参考值,并非真正的排名依据。
- MiniMax M3 终于获得了正式评分。此前的榜单仅给出了它的编程能力得分,未提供综合评分。本次测试中其综合得分为14.6 ± 1.7;若将那些用尽预算的测试用例重新执行,则其综合得分预计会升至15.5。每次测试的成本约为0.57美元,仅为排名最高模型的七分之一。
高难度级别——全部26个模型的结果汇总
| 模型名称 | 综合评分 | 编程能力得分 | 对话能力得分 | 等级 | 完成行数占比 | 运行成本 |
|---|---|---|---|---|---|---|
| Kimi K3.1 Pro | 19.3 ± 0.5 | 10.0 ± 0.1 | 9.3 ± 0.5 | S | 100% | $4.07 |
| Grok 4.7 | 19.2 ± 0.3 | 10.0 ± 0.1 | 9.2 ± 0.3 | S | 100% | $3.91 |
| Claude Opus 5.5 | 19.2 ± 0.5 | 10.0 ± 0.1 | 9.2 ± 0.5 | S | 100% | $4.50 |
| DeepSeek V4 Flash | 18.8 ± 0.8 | 11.2 ± 0.4 | 7.6 ± 0.6 | S | 92%(4个测试用例失败) | $0.14 |
| Claude Sonnet 5.5 | 18.6 ± 0.4 | 10.0 ± 0.1 | 8.6 ± 0.4 | S | 100% | $2.36 |
| GPT-6.1 Terra | 17.9 ± 1.0 | 9.4 ± 0.6 | 8.5 ± 0.7 | S | 100% | $0.63 |
| DeepSeek V4 Pro | 17.8 ± 0.7 | 10.1 ± 0.5 | 7.7 ± 0.4 | S | 89%(5个测试用例失败) | $0.57 |
| GPT-6 Luna | 17.7 ± 0.6 | 9.7 ± 0.2 | 8.0 ± 0.5 | S | 100% | $0.08 |
| Claude Opus 5 | 16.7 ± 1.4 | 8.3 ± 1.2 | 8.4 ± 0.4 | S | 100% | $5.07 |
| Claude Opus 4.8 | 16.3 ± 0.6 | 9.2 ± 0.5 | 7.1 ± 0.4 | S | 100% | $4.37 |
| Claude Fable 5.1 | 16.1 ± 0.9 | 7.7 ± 0.5 | 8.4 ± 0.7 | S | 100% | $10.23 |
| Claude Opus 4.7 | 16.1 ± 0.8 | 9.3 ± 0.6 | 6.8 ± 0.5 | S | 100% | $4.75 |
| Claude Fable 5 | 16.0 ± 1.9 | 7.5 ± 1.9 | 8.5 ± 0.6 | S | 100% | $9.70 |
| Claude Haiku 5.5 | 15.3 ± 1.1 | 9.2 ± 0.7 | 6.1 ± 0.9 | A | 100% | $0.11 |
| Claude Opus 4.6 | 15.3 ± 1.3 | 8.0 ± 1.3 | 7.3 ± 0.3 | A | 100% | $3.38 |
| Claude Sonnet 5 | 15.3 ± 0.9 | 8.8 ± 0.8 | 6.4 ± 0.4 | A | 100% | $2.81 |
| Claude Sonnet 4.6 | 14.6 ± 1.6 | 7.6 ± 1.4 | 7.0 ± 0.7 | A | 97%(1个测试用例失败) | $2.98 |
| MiniMax M2.5 Highspeed | 14.6 ± 0.8 | 8.3 ± 0.7 | 6.3 ± 0.4 | A | 100% | 约$0.63 |
| MiniMax M3 | 14.6 ± 1.7 | 8.5 ± 0.8 | 6.0 ± 1.4 | A | 94%(2个测试用例失败) | 约$0.57 |
| Claude Opus 4.5 | 13.8 ± 1.4 | 7.1 ± 1.2 | 6.7 ± 0.7 | A | 100% | $3.27* |
| MiniMax M3.1 Flash | 13.6 ± 1.7 | 8.0 ± 0.9 | 5.6 ± 1.4 | A | 94%(2个测试用例失败) | 约$0.28 |
| MiniMax M2.7 | 13.4 ± 1.7 | 6.7 ± 1.6 | 6.7 ± 0.5 | A | 100% | 约$0.30 |
| MiniMax M2.7 Highspeed | 13.2 ± 1.2 | 7.6 ± 0.9 | 5.6 ± 0.8 | A | 100% | 约$0.62 |
| Claude Sonnet 4.5 | 13.2 ± 1.1 | 6.4 ± 1.1 | 6.8 ± 0.4 | A | 100% | $1.94* |
| MiniMax M2.5 | 12.2 ± 1.8 | 6.4 ± 1.6 | 5.8 ± 0.8 | B | 100% | 约$0.31 |
| Claude Haiku 4.5 | 11.3 ± 1.2 | 5.7 ± 1.0 | 5.6 ± 0.6 | B | 100% | $0.63* |
成本概览:仅对全部26个模型执行一次标准测试,所需费用便高达68.21美元(该费用仅为模型生成内容所需的开销;评分过程则由我们自己的硬件完成)。此外,本页面未涵盖的成人内容相关测试另有单独定价。在这26个模型中,有12个模型的测试成本不足1美元,总花费为4.87美元;其余14个模型的测试成本则合计达63.34美元,其中费用最高的两个模型——Claude Fable 5.1与Claude Fable 5——就占据了19.93美元的支出。另外还有6个模型的费用是根据令牌数量估算得出,另有3个模型因部分请求未返回使用数据而带有星号标记;因此实际总费用可能略高于此数值。
未列入榜单的模型情况:我们还在自有硬件上对32个经过微调后的模型进行了测试,但报告中均将其标记为“未完成”——即这些模型的测试并未覆盖全部标准测试用例——因此它们既无综合评分,也未参与排名。其中还有4个模型直接测试失败:3个因未能获得GPU资源而测试中断,另1个则在测试过程中意外终止。另有8个托管模型尚在等待评估:其中3个模型的20个测试用例尚未得到评分,另外5个模型则因不符合服务商要求而被拒之门外。目前榜单上的所有模型仍有部分评分是基于旧版评分标准得出的,待重新评估后数值可能有所变动。
榜单中列出的模型均使用其官方名称。有24个模型的测试结果结合了4.0.1版本与本次4.1.0版本的测试数据;DeepSeek V4 Flash与DeepSeek V4 Pro还纳入了3.9.0版本的数据。“~”符号表示该费用是根据公开价格及令牌数量估算得出;“*”则表示部分请求未返回使用数据,故该数值可能偏低。还有4个待评估模型使用了已不再使用的旧版模型名称作为标识。
我们从本次测试中得出的结论如下:
- 没有任何模型占据绝对优势。榜单上任意相邻两个模型的90%置信区间均存在重叠,这种“成绩相当”的情况从榜首一直延续到榜尾;因此所有26个模型都被归为同一等级。尽管Kimi K3.1 Pro的综合得分为19.3而Claude Haiku 4.5仅为11.3,两者相差达8分之多,但在本次测试中它们的实际表现并无显著差别——这些数值仅可作为参考值,不可视作真正的排名依据。
- 成本是区分各模型的关键指标。执行一次涵盖全部26个模型的标准测试需花费68.21美元。DeepSeek V4 Flash以0.14美元的低成本便获得了18.8的综合评分;而Claude Fable 5.1则需耗费10.23美元才得到16.1的得分,可见其单位成本所产生的效益仅为前者的约1/85。此外还有12个模型的测试成本不足1美元,其中4个模型的综合得分更是达到了16分或以上。
- 编程能力决定榜单排名,对话能力则不然。仅有DeepSeek V4 Flash(11.2分)与DeepSeek V4 Pro(10.1分)的编程能力得分超过了10分,且两者均解锁了进阶题目;但在对话能力方面没有任何模型能达到10分,得分最高的Kimi K3.1 Pro也仅为9.3分。若需将模型集成至智能代理系统中,编程能力才是衡量其价值的核心指标。
- 输出预算是潜在的筛选机制。共有5个模型因用尽了预算而导致测试失败:包括DeepSeek V4 Pro(5个测试用例)、DeepSeek V4 Flash(4个)、MiniMax M3与MiniMax M3.1 Flash各2个以及Claude Sonnet 4.6(1个)。若这些模型可重新执行测试,其综合得分便会相应提高:如MiniMax M3的得分预计会从14.6升至15.5,而DeepSeek V4 Flash及Claude Sonnet 4.6的相关数据尚在统计中。
- 服务商的内容过滤机制也会影响模型评分。共有4个模型的响应内容被服务商的内容过滤器拦截:包括Claude Fable 5(6次)、Claude Opus 5(2次)、Claude Fable 5.1(2次)以及Claude Opus 5.5(1次)。被拦截的响应内容均计为0分。此外还有5个模型的评分因评估器无法解析其输出结果而暂时缺失。
下载
此下载包包含的是已不再维护的原始版本 bench-llm,而非 CrucibleForge(后者可在 GitHub 上找到)。压缩包内含两个文件:bench-llm,这是一个包含1,660行代码的脚本;以及 README.md,里面简要说明了安装步骤。除了这两个文件外无需任何编译或安装操作——只需解压后即可运行。这两个文件均由 AI 自动生成,并采用 MIT 许可证发布。所需的依赖库为 openai 与 requests。在将程序部署到承载其他服务的机器上之前,请务必阅读下方的 注意事项。
相关链接:StudioForge(这些模型所使用的 GPU 服务器)、我的 AI 代理实际运行成本(为何本地运行速度至关重要)、DeepSeek Harness(这些模型所支持的编程辅助工具),以及它们所运行的 本地 AI 代理堆栈。
下载
仅限个人使用免费。如果它替你省下了一下午的时间,欢迎点旁边的咖啡按钮支持一下。