MakoBench新增了“运行成本”列
- 发布日期
- 2026年11月7日
- 更新日期
- 2026年11月7日
- 作者
- Jacob Lloyd —— 项目完成后,在 AI 协助下撰写
- 阅读时长
- 约 2 分钟阅读

简单来说: MakoBench是我们公开的语言模型评测平台。托管型模型会产生运行成本:这一成本相当于按照服务商公布的定价来执行一次标准的代码测试或对话测试所需的费用。本地模型则显示为破折号,因为它们是在我们自己的硬件上运行的。当服务商的内容过滤机制拦截了某条回复时,相应行会予以标注,且该回复的得分则为零。
该面板新增了一列,名为“运行成本”。对于托管模型而言,这一数值即指按照服务商公布的定价来执行一次标准的代码与聊天测试所需的费用——该费用已包含了发送的令牌数量以及返回的令牌数量,甚至也计入了思考过程所产生的令牌消耗。
- 未计入的因素:奖励套餐、重试次数、评分系统(它运行在我们自己的硬件上),以及任何缓存机制或非高峰时段的折扣。此数值大致相当于按标价计算出的费用。
- 数字前的波浪号“~”:由于该服务商并非按令牌数量计费(而是采用固定套餐模式),因此我们便按标价对令牌成本进行了估算。
- 数字后的星号“*”:部分请求返回的结果中并未包含使用数据,因此实际数值可能偏低。
- 短横线“—”:该模型是在我们自己的硬件上运行的,因此不会产生任何费用。
此次更新还引入了“被拦截的回复”这一概念。某些服务商设有内容过滤机制,可能会拒绝返回某些回复。出现这种情况的行会带有一个小小的“被拦截”标记,其详情栏中也会有相应说明。被拦截的回复得分为零,与回答失败的情况相同。CrucibleForge会在每次刷新时自动从转录文本中识别出此类回复,因此后续运行时它们也会被自动标记出来。
两个面板更新
- 仅显示最新版本。 默认勾选的复选框会在面板上存在某个模型的更新版本时隐藏旧版本,例如 Claude Opus 5 会被 5.5 版本取代。该设置不会隐藏经过微调后的模型。每行数据还包含 基于何种模型构建 的标签:对于托管式模型而言,这是其所属的产品系列;对于本地部署的模型而言,则是其基础权重信息。过滤功能也会依据此信息进行匹配。
- MAX 标记。 当某个模型在测试集的某个部分中取得了最佳成绩时,会显示一个小小的 MAX 标记。由于现有测试无法区分这些表现优异的模型,因此后续需要为该部分设计更具挑战性的测试集。
现在该表格在手机上也更易阅读了。模型名称会以完整形式显示,长文件名则被简写名称替代;当表格需要横向滚动时,也会有提示信息出现。
更多详情请参阅 文档 以及 MakoBench 的工作原理。