DeepSeek Harness(dsh):安装、无头运行、三模型基准测试

发布日期
2026年8月18日
更新日期
2026年9月16日
作者
Jacob Lloyd —— 项目完成后,在 AI 协助下撰写
阅读时长
约 18 分钟阅读

简单来说: DeepSeek 发布了一款免费、开源的“编程代理”:一个能读取你的项目、编辑文件并替你运行命令的程序,类似 Claude Code。本文展示了我如何在 Linux 电脑上安装它、让它自动启动、将它同时指向 DeepSeek 的云端模型和我自己硬件上的模型,并用 5 个小型真实编程任务对它进行了测试。全部 15 次运行均通过,云端运行只花了几美分,但也存在一些尖锐的边角问题。

六秒钟,文件创建,程序运行,答案打印,退出码为 0。这就是 DeepSeek Harness(dsh)完成我交给它的第一个任务时的表现。DeepSeek 于 2026 年 8 月 13 日发布了它,这是一款基于 MIT 许可的编程代理,构建于一个理念之上:一切皆插件,包括模型适配器、工具、沙盒以及代理循环本身。我在同一周安装了它,将它指向 DeepSeek 的云端模型和我自己 GPU 设备上的模型,并让它运行了一组小型任务套件。以下是所需步骤、成本以及它出问题的地方。

简而言之

  • 它是什么:一个 Claude Code 级别的代理(读取和编辑文件、运行 shell 命令、维护计划、生成子代理),以 npm 包形式发布。它有一个运行在 127.0.0.1:3080 的Web UI,以及一个无头模式,该模式打印一个答案后退出,这是为脚本构建的部分。
  • 成本:软件免费。我的 5 任务基准测试按峰值费率计算,在 V4-Flash 上约 3¢,在 V4-Pro 上约 7¢,本地模型上则免费。
  • 结果:在版本 0.1.0-rc.7 上,V4-Flash、V4-Pro 和本地 Gemma-4-26B 共取得 15/15 通过,整个套件耗时 43 到 56 秒。在一项真实杂务(构建并检查一个 290 页网站的链接)中,它还未经要求地发现我的运行手册已过时。
  • 你需要什么:Node.js,外加一个 DeepSeek API 密钥或任何 OpenAI 兼容服务器。我两者都用了。
  • 问题所在:它是开发者预览版。README 警告说版本之间会出问题,因此请固定版本并在升级后重新测试。

2026年9月16日更新:上述测试均是在8月份使用0.1.0-rc.7版本完成的。此后我的环境已升级至0.1.5-rc.1,该版本的README还列出了相关的SDK与ACP配置信息。另外,自2026年9月9日起,我已不再使用本文原先用于对比的另一款编程助手Reasonix;相关对比内容现仅作为文末的一段历史记录留存。

使用流程:从基础到进阶

按照第1至第3步操作,您只需约十分钟就能让一个可用的代理程序运行起来。第4与第5步则能使其能被其他软件调用。

最终效果如何

我实际使用的就是无界面模式。在项目文件夹内执行即可:

$ cd ~/scratch/dsh-demo
$ dsh --profile headless "Create fizz.py that prints FizzBuzz for 1..15 and run it; reply with the program output only."

1
2
Fizz
4
Buzz
…
FizzBuzz
$ echo $? 0

这里的三个反引号是 dsh 自己添加的:它把回复内容包裹在 Markdown 代码块中。它不会在启动时所在的文件夹之外写入任何内容(默认的权限模式为 workspace-write)。它仅将最终结果输出到标准输出,同时会保存每次运行记录;之后你可以在网页界面中打开这些记录,查看每一次工具调用情况以及生成的 token 数量。

最有力的证明就是一个真正的实际任务,而非简单的测试。我让 dsh 处理这个网站的源代码文件夹,要求它读取项目文档、执行构建与链接检查并生成报告——全程无需任何人工编辑或发布操作。仅用53秒,它就读完了文档、运行了正确的命令,并输出了检查结果:共290页内容、1,752张图片,没有任何损坏的链接,还给出了构建耗时。更厉害的是,它甚至主动指出文档中仍写着“288页”,从而发现了数据不一致的问题。如今这类风险较低的任务我都会放心地交给它处理。

网页界面采用了2026年常见的布局:左侧为会话列表,中间是聊天区,还有模型设置页面。一个好习惯是:将 API 密钥粘贴到设置页面中,而不要写入配置文件。

嵌入聊天应用中的 dsh 网页界面:已完成的会话‘创建并运行 hello.py’展示了其上下文注入、思考、写入及 Bash 执行步骤,回复内容为‘hello from dsh’,下方还有包含轮次、步骤数、延迟时间及缓存命中率的统计信息;再往下是状态栏,显示‘运行中’字样,模型下拉菜单中选中了 DeepSeek-V4-Flash,还有启动、重启与停止按钮
dsh 网页界面(摄于8月,嵌入在我的个人聊天应用中)。已完成的会话会显示其执行步骤序列(思考 → 写入 → Bash)以及每轮交互的统计数据。底部的状态栏则是我自己的应用对 systemd 服务及默认模型的控制面板,不属于 dsh 的功能范畴。

步骤1:安装(只需两分钟)

这只是一个 npm 包而已。我专门设置了一个私有的 Node.js 包前缀,这样相关工具就不会被安装到系统目录中;对于像我这样使用不可修改的 Fedora 桌面的用户来说,这是最稳妥的做法。若要进行全局安装,命令也完全相同:

npm install -g @deepseek-ai/dsh
dsh --version          # 0.1.0-rc.7 when I benchmarked it
dsh web                # starts the UI, prints http://127.0.0.1:3080

打开相应 URL,进入 设置 → 模型,粘贴你的 DeepSeek API 密钥并保存即可。这样就会生成 ~/.dsh/.credentials.yaml 文件(权限为 0600),模型随即即可使用,无需重启。如果你需要编写脚本,该文件其实就是一个普通的 YAML 格式映射内容(例如 DEEPSEEK_API_KEY: sk-…)。我自己的密钥是从其他服务所使用的环境变量文件中读取的,因此它绝不会出现在 shell 历史记录或任何配置文件中。

在继续操作前,有两点需要了解:

  • 默认情况下遥测功能处于关闭状态。只要不设置 DSH_TELEMETRY_MODE 这个环境变量,该功能便不会启用。我查看的是实际提供的配置文件而非宣传材料:虽然 OTLP 导出器确实存在,但并未被开启。
  • 沙盒环境确实存在,但其权限范围有限。在默认模式下,写入操作仅允许在启动程序时所在的文件夹中进行;读取操作则不受此限制,文档中也有明确说明。因此,执行重要任务时切勿从个人主目录启动该程序,也切勿将其指向存有敏感信息的文件夹。

步骤2:将其作为服务运行

这个网页界面实际上是一个需要长时间运行的 Node.js 进程。我希望它在用户登录后自动启动,且无需终端窗口,同时仅绑定到本地回环接口。此时使用 systemd 的 --user 单元即可实现这一目的:

# ~/.config/systemd/user/dsh-web.service
[Unit]
Description=DeepSeek Harness web UI (dsh web) on 127.0.0.1:3080
After=network.target

[Service]
WorkingDirectory=%h
Environment=DSH_HOME=%h/.dsh
# Use the path from `which dsh`. systemd does not allow comments at the end of a line.
ExecStart=/usr/local/bin/dsh web --host 127.0.0.1 --port 3080
Restart=on-failure
RestartSec=3

[Install]
WantedBy=default.target
systemctl --user daemon-reload
systemctl --user enable --now dsh-web.service
curl -s -o /dev/null -w "%{http_code}\n" http://127.0.0.1:3080/   # 200

WorkingDirectory 用于设置界面的默认工作目录根路径,不过用户仍需手动选择一个工作区才能开始输入内容。这样的默认设置挺好的。命令行工具同样不支持 --host 0.0.0.0 参数;开发者表示目前“有意不提供”绑定到所有网络接口的功能。该界面本身也没有登录机制,对此我表示赞同。如果你需要从其他机器访问它,可以配置一个带有身份验证功能的反向代理,或者通过远程桌面使用主机上的浏览器——这正是我的做法。

步骤3:将所有模型配置放在一个 YAML 文件中,并支持热重载

~/.dsh/settings.yaml 用于指定默认模型以及所有额外的模型提供商。dsh 会在下一次请求前重新读取该文件,因此无需重启或重新登录。我的配置文件内容如下:

agent-default-model:
  provider: deepseek-official
  model: deepseek-v4-flash          # or deepseek-v4-pro

llm-deepseek:
  reasoningEffort: high             # off | low | high | max

# A local OpenAI-compatible server (mine is llama.cpp-based on a GPU rig).
llm-pi-ai:
  providers:
    local-rig:
      displayName: Local GPU rig
      apiKeyEnv: LOCAL_RIG_PLACEHOLDER_KEY    # a reference, not a value
      api: openai-completions
      baseURL: http://my-gpu-rig:1234/v1      # your server's address
      defaultContextWindow: 65536
      models:
        - id: unsloth/gemma-4-26B-A4B-it-qat-GGUF/gemma-4-26B-A4B-it-qat-UD-Q4_K_XL
          name: Gemma 4 26B-A4B (rig)

有两个细节让我各自花费了十分钟才搞明白:

  • apiKeyEnv 只是一个引用值,绝不能直接填写实际密钥。 dsh 会从 .credentials.yaml 文件或环境变量中解析出真实密钥。即便是在本地运行的无密钥服务器,也仍需在配置中指定某种凭证,因为与 OpenAI 兼容的客户端要求必须提供 Bearer Token。因此,请在 .credentials.yaml 文件中为该名称设置一个任意的占位值即可。
  • 提供商 ID(如上例中的 local-rig)一旦被会话引用便不可更改。 若需重命名,只能新增一个提供商条目。

由于整个配置都集中在这个文件中,因此“将 dsh 切换为使用本地模型”只需修改两行代码即可完成;任何脚本或其他程序都能轻松实现这一点。我正是利用此特性将简单任务交给免费的本地模型处理,而将复杂难题交由 V4-Pro 来处理,全程无需进行其他任何设置。

步骤4:在自己的软件中调用它

官方提供的包并不包含终端用户界面(TUI)。虽然 npm 上有一些第三方开发的 TUI 插件,但在八月份时这些插件仅发布了四天,且存在损坏的 workspace:* 依赖项。我可不会在家庭服务器上运行一个未经审核、且能获取 shell 访问权限的包。因此,当我将 dsh 集成到自己的聊天应用中时,我只使用了官方包所提供的功能:

  • 以固定的参数列表运行无界面模式下的任务。 我的服务器会执行 dsh --profile headless "…",此时任务内容作为单个参数传入且不会调用 shell;这样一来,哪怕任务内容包含 ; rm -rf / 这样的指令,它也只会被视为普通文本而已。该工具一次只运行一个任务,并会保留最近执行结果的历史记录。
  • 通过修改 settings.yaml 文件中的 agent-default-model 来切换模型。 无需重启服务即可生效。
  • 若需要的话,可将网页界面嵌入到 iframe 中; 该界面不会发送任何会阻止框架加载的 HTTP 头部信息。

有一条规则值得借鉴:务必将所有这些功能都置于自己应用的管理员登录验证之后。毕竟无界面模式下的任务本质上就是任意代码执行,因此对待“运行任务”这一操作的方式,应如同对待 shell 命令一样谨慎。

基准测试:5个任务,3种模型,全部成功

这并非严格的科学测试:我只是挑选了五个简单的任务来测试编程助手的表现。每个任务都在一个全新的工作目录中进行,并通过脚本进行验证:文件是否存在且能正常运行?测试用例是否顺利通过(且未对测试文件做任何改动)?重命名操作后是否完全没有残留旧名称的引用?总耗时包含了整个流程的时间,以及约7,500个令牌的系统提示信息。令牌数量则来自dsh自身的会话日志。

任务V4-FlashV4-ProGemma-4-26B(本地运行)
回复“PONG”(启动后执行一次调用)✅ 2.1秒✅ 2.8秒✅ 13.2秒*
编写并运行FizzBuzz程序✅ 5.3秒 · 使用了2个工具✅ 8.4秒 · 使用了2个工具✅ 4.9秒 · 使用了2个工具
修复两个错误以使单元测试通过(未改动测试文件)✅ 11.7秒 · 使用了8个工具✅ 15.8秒 · 使用了7个工具✅ 10.4秒 · 使用了8个工具
用不到150字总结一个由6个模块构成的代码库✅ 8.9秒 · 使用了9个工具✅ 10.9秒 · 使用了7个工具✅ 12.1秒 · 使用了7个工具
在3个文件及测试代码中重命名某个函数,确保一切正常✅ 15.1秒 · 使用了14个工具✅ 18.2秒 · 使用了12个工具✅ 12.2秒 · 使用了11个工具
总耗时43秒56秒53秒
令牌消耗量(输入/缓存读取/输出)42.6k / 136k / 4.5k41.4k / 107k / 3.2k40.5k / 237k / 5.6k
按峰值费率计算的成本(非峰值时段为半价)约0.027美元约0.072美元0美元(仅消耗电力)

*此为模型在硬件上完成冷启动后的首次调用;后续任务则体现了其热启动后的速度。测试版本为0.1.0-rc.7,日期为2026年8月18日。价格数据取自当日DeepSeek定价页面:Flash模型的缓存命中/未命中/输出价格分别为每百万令牌0.014美元、0.44美元与1.32美元;Pro模型则分别为0.044美元、1.32美元与3.96美元。测试脚本属于临时用途,现已删除,因此我无法确认总结内容是否真的统计了字数。

表格所反映的情况如下:

  • 提示词缓存显著降低了成本。每个任务都需要处理约7,500个令牌的系统提示信息;但在第一步之后,绝大部分令牌都通过缓存读取的方式获取,其成本仅为未命中情况下的3%左右。多步骤任务之所以能保持低成本,正是因为测试框架确保了系统提示内容的稳定性。
  • V4-Pro在达成相同结果时所需的工具调用次数更少。比如在重命名操作中,它仅需12次调用,而Flash则需14次。不过在这组测试中,Flash的速度更快且成本仅为Pro的三分之一,因此我仍将其作为默认选择。
  • 本地运行的模型同样表现出色。Gemma-4-26B属于混合专家型模型,实际激活参数数量为40亿,采用Q4量化处理;它借助llama.cpp在两块RTX 5090显卡上运行,顺利完成了所有任务。虽然它读取的缓存内容更多(237k个令牌,而Flash为136k),但总耗时依然具有竞争力。这是本地模型首次真正胜任此类日常任务,而不再只是噱头而已。当然,这五个简单任务还无法反映处理包含40个文件的代码重构时的情形。

我最终确定的使用规则:简单的日常任务及需脚本辅助的工作选用Flash;当任务需要更简洁高效的执行步骤时则选择V4-Pro;至于那些重新执行成本较低且无需联网即可完成的任务,则交由本地模型处理。

有趣的测试:为我制作一个小玩具

我还想看看它在面对开放式创意需求时的表现。具体要求是:“制作该网站标志的交互式像素艺术版本。使用纯原生 JavaScript,可嵌入任意页面;鼠标悬停时产生物理效果,点击后也有酷炫的互动反应;无需任何依赖库,请自行测试。” 最终生成的结果已上线(后来它还在 像素艺术小工具大比拼 中与其他两个由 Kimi 生成的版本同台竞技):

将鼠标悬停其上,然后点击试试。 像素会从指针位置散开并重新聚拢;点击后则会将图案打碎成四处弹跳的像素,它们最终又会回到原位。触摸屏同样适用,且它还能响应 prefers-reduced-motion 设置。
像素标志小工具的四个状态:静止、鼠标悬停时像素被推离光标周围并形成蓝色光晕、点击后青色像素向四周弹开、最后像素重新组合成原图案
从静止 → 鼠标悬停时像素散开 → 点击后碎裂 → 重新聚合,整个过程由无头模式的 Chromium 浏览器记录。帧率达 61 fps,控制台无任何错误提示,且像素确实能重新组合。

整个测试过程如下:

  • 第一次尝试(V4-Flash):耗时10分钟,未生成任何文件。 需求允许手绘或程序生成位图。它选择在推理过程中手绘了一幅 40×40 的位图,结果陷入死循环:会话日志里满是 ################ 与 .... 字符,直到我的超时设置将其强制终止。这次尝试仅耗费约 2 美分。教训:绝不可让模型在脑海中手绘像素图案。
  • 第二次尝试(V4-Flash,需求改为“基于几何图形生成像素图而非位图”):耗时25分钟,所有内容均顺利生成。 它共执行了100次模型推理、201次工具调用,输出了17.2万条文本标记(其中12.3万为推理过程说明),还读取了1630万条缓存数据。按最高费率计算,此次花费约为49美分。 最终生成的 ll-pixel-logo.js 文件长达399行,提供了统一的全局 API 及多种 data- 参数配置;此外还包含演示页面、说明文档、针对像素生成器的 Node.js单元测试,甚至应要求额外编写了 Playwright 脚本用于截取三种不同尺寸下的演示效果。它在接近25分钟时限时仍在完善说明文档,因此退出代码显示为超时,其实任务早已完成。可见退出代码有时也会出现误报或漏报情况。
  • 关于视觉效果: 那个圆环与两个倾斜的“L”形图案乍看确实像网站标志,不过其形状比原版更粗犷、更具立体感。若要正式使用,恐怕还得花10分钟调整相关参数才行。但我并未动手修改;所以你看到的便是未经任何调整的原始效果。
  • 将其嵌入此页面仅需一行代码: 由于本站点的内容安全策略仅允许加载本站脚本 script-src 'self',而该小工具本身又不涉及任何网络请求,它便轻松满足了这一需求。
  • 后续额外开销: dsh 生成的输出文件权限被设为 0600。我的部署流程直接沿用了此权限设置,结果导致线上站点出现 403 错误;后来我执行了 chmod 644 才解决问题。因此切记:从 dsh 工作区复制出来的任何文件,都需手动修正其权限设置。

注意事项

  • 此版本为开发者预览版,README中也有说明。 我在 rc.6 发布三天后安装了 0.1.0-rc.7。配置文件、设置项以及插件结构都可能发生变化。因此,在自动化脚本中应固定使用的版本号,并在每次升级后重新执行冒烟测试。
  • 无头模式下,程序运行期间不会输出任何信息。 没有任何内容会输出到标准输出,因此长时间运行的任务看起来像是卡住了。可以查看会话日志(路径为 ~/.dsh/sessions/…/session.jsonl.zstd,该文件使用 zstd 压缩格式),或者通过网页界面进行监控。退出代码为 0 仅表示“任务轮次已完成”,并不代表“任务成功执行”,因此还需检查实际结果。
  • 无头模式下没有 --model 参数。 默认使用的模型由 settings.yaml 文件指定;可在此文件中修改(该文件支持热重载),也可通过网页界面进行调整。
  • 无需密钥的本地服务器需要一个占位符凭证,且提供程序 ID 一旦设定便不可更改。详情请参见第 3 步。
  • 网页界面使用的是绝对路径(如 /assets/…、/api),因此若想在自己的反向代理下以子路径形式使用该界面,就必须对路径进行重写。更好的做法是将其单独部署或为其分配独立的主机名。
  • 网页界面的语言设置与浏览器一致。 自带的 index.html 文件中指定了 lang="zh-CN",打开后首先会弹出“内部测试通知”对话框。点击“继续”后,后续内容便以英文显示。
  • 安装过程中会执行 postinstall 脚本(涉及 node-pty、koffi、protobufjs 等模块),npm 也会对此发出警告。虽然我没有发现任何恶意行为,但这些脚本实际上是在你的系统上编译原生代码。正因如此,建议使用专属的安装目录而非系统默认目录。
  • Node.js 版本要求: rc.7 需要 Node 22.19 或更高版本(24 也可),旧版 LTS 版本则无法运行该软件。请务必查阅所安装版本的 README 说明。

历史记录:dsh与Reasonix的对比

今年8月,我同时使用了dsh以及第三方终端代理程序Reasonix。两者的分工很简单:当我需要与代理进行交互时,我会打开作为TUI界面的Reasonix;而其他软件则调用dsh来执行任务。我在2026年9月9日停止了在系统中使用Reasonix,如今dsh已成为我的主要编程代理。如果要在两者之间做选择的话,最大的区别在于:dsh具备无头模式,只需一条命令即可获得响应并返回退出码,便于编写脚本;而TUI界面则假定操作者是坐在键盘前的人类用户。

这样的设置对我而言意味着什么

无界面模式正是供其他软件调用的编程代理所需的模式:一条命令、一个响应、一个退出码,还有可供审计的日志记录。通过 YAML 配置文件即可指定要使用的模型,调用脚本可以据此决定哪种模型最适合当前任务。如果你已经在本地运行了模型服务器,不妨试着执行那五个相同的任务。所需的成本仅为区区 10 美分的 API 费用以及一个临时文件夹而已。

相关项目:DeepSeek Everywhere(将 DeepSeek 集成到 Claude Code 及相应的代理堆栈中),将 Kimi K3 用作编程代理(同样的五个任务,9月份在 dsh 环境下重新运行过),bench-llm 及其后续产品 CrucibleForge(比我在这里所做的更为全面地对本地模型进行基准测试),以及 Reasonix(我在使用 dsh 之前的终端代理工具,现已停用)。


← 更多AI 与本地 LLM