由……提供支持 CrucibleForge
新闻与更新
各套件之间有哪些变化？主板上有什么新特性？我们在开发过程中学到了什么？使用指南请参见文档。
4. 那些导致我的大语言模型基准测试分数失真的缺陷
在我们的基准测试中，一种新的托管模型的表现不如其旧版本。这个数值基本是准确的——我们的测试工具仍然会使其得分降低多达1.7分。以下是四个缺陷及其各自造成的分数损失情况；此外还有一个免费的压缩包，可用来检测您自己的测试工具。
模型基准测试、用例及配置：2026年11月
2026年11月的模型基准测试、应用场景及配置指南：在十一种模型中，该如何挑选适合编程、聊天或适配自身硬件的模型；五步编程环境配置流程；以及一个项目的大致成本。单次标准运行费用方面，Claude Fable 5.2为14.87美元，而DeepSeek V4.1-Flash-1017仅需0.14美元。
Claude Fable 5.2基准测试：它的优势所在，以及所需成本
Claude Fable 5.2在MakoBench 4.1测试中的得分为25.2，与其他模型并列第一。它在聊天能力方面表现最佳（得分12.7），具备出色的自主执行能力，从不拒绝任何任务请求；每次运行的成本为14.87美元。
MakoBench 4.1：有哪些变化
4.1版是一个修正版本，没有新增案例。两位独立的模型评审员仔细审查了所有的公开答案；经确认，共有约190道题目存在问题。随后又重新运行了评估流程：在38个被评估的模型中，有31个模型在“聊天”与“编程”两个测试维度上的得分均有所提升。
MakoBench套件4.0：标准版20、Class版和Lean版
在 Suite 4.0 中，Code 和 Chat 的评分均为 10 分，而非百分比形式；同时，那些速度最慢且噪音最大的测试也被移除了。此外，还新增了 Class 和 Lean 两项功能。以下是公开版本中所做的改动，以及我们自己使用的工具版本中包含但尚未发布的功能。
我的人工智能代理为我的一系列人工智能代理构建了一个基准测试工具。
我们的编码助手编写了 bench-llm：这是一个包含 1,660 行代码的 Python 程序，用于对 LM Studio 中的本地模型进行基准测试。两周后，我们的所有模型都取得了满分成绩。于是我们改用 CrucibleForge——它包含 276 个测试用例，其中 166 个属于难度较高的测试；该工具在 GitHub 上可免费获取。
MakoBench新增了“运行成本”列
现在，在 MakoBench 板上运行的模型会显示一次标准代码测试和聊天测试所需的成本。若回复内容被提供商的内容过滤器拦截，则该行会被标记出来，且得分为零。
打开主工作台 这里每一页后面的数字。