ChatForge:专为 Copilot 键打造的本地 NPU AI 助手
- 发布日期
- 2026年10月2日
- 更新日期
- 2026年10月19日
- 作者
- Jacob Lloyd —— 项目完成后,在 AI 协助下撰写
- 阅读时长
- 约 19 分钟阅读
简单来说: 新款 Intel 笔记本电脑配备了一块专用的 AI 芯片(NPU),但大多时候处于闲置状态,还有一个用于打开微软助手的 Copilot 键。ChatForge 是一款免费程序,它赋予该键一项不同的任务:打开一个小型聊天窗口,由运行在你自己笔记本电脑上的模型来回答,无需账号,也没有月费,还能查询天气和新闻等实时信息。对于更难的问题,同一个窗口可以转而询问更大型的 AI 服务。
我们的笔记本电脑出厂时配备了一个专用的 AI 键和一块专用的 AI 芯片,但开箱即用时它们从未协同工作:该键打开的是云端的 Microsoft Copilot,而 NPU 则闲置在那里无所事事。这让我们比应有的程度更在意。所以现在,该键打开的是我们自己的助手 ChatForge。它在 NPU 上运行一个 1.5B 的 Qwen 模型,速度达每秒 42–51 个词元。无需账号、无需订阅、没有按词元计费,对话也绝不会离开电脑。当问题超出 1.5B 模型的能力时,我们的 GPU 服务器或云端模型就在同一个小弹窗中一键可达。
更新于 2026-10-19(ChatForge 0.2.0)。 ChatForge 现在可通过双击安装(无需终端、Python 或 git),首次启动时一键即可设置其本地模型,在电脑没有 NPU 时会在 CPU 上运行该模型,并在随 Windows 启动前先询问。另一台电脑上的 StudioForge 服务器现在需要 API 密钥。下方的安装步骤是 0.2.0 版本的;变更内容及升级方法见 0.2 版的新变化。
本文便是一次全面介绍:它具备哪些功能、NPU 的实际表现如何(包括那个编译时一切正常但运行时却“胡言乱语”的模型),以及我们用了哪些技巧让这个小模型也能给出靠谱的答案,而非像普通小模型那样只会含糊其辞。
要点速览
- 获取方式: github.com/LaserLloyd/ChatForge — MIT 开源协议,完全免费,当前版本为 0.2.0。直接下载 ZIP 包后双击
Install ChatForge,再点击 配置本地 AI 即可。(下方下载区提供的 ZIP 包为较旧的 0.1.0 版,安装时需借助终端。) - 功能定位: 专为 Windows 11 设计的免费助手,采用 MIT 协议。按下
Ctrl+Alt+C(或经 PowerToys 重新映射后的 Copilot 快捷键)后,右下角便会弹出尺寸为 420 × 620 的对话框;按 Esc 键即可关闭。 - 本地模型:
Qwen2.5-1.5B-Instruct模型(INT4 量化版,仅 0.94 GB),由 OpenVINO Model Server 驱动,在 Intel “AI Boost” NPU 上运行;若无 NPU 则转用 CPU。首次加载耗时约 45 秒,之后从缓存读取仅需 3 秒左右,解码速度稳定在每秒 42–51 词符。连续闲置 10 分钟后模型会自动卸载。 - 更大模型同样可用: 通过同一界面还能调用 StudioForge 本地 GPU 服务器、MiniMax、OpenAI、DeepSeek 或任意兼容 OpenAI 协议的云端模型。所有 API 密钥均保存在 Windows 凭据管理器中,绝不会出现在配置文件里。
- 九大实用工具: 网页与新闻搜索、页面抓取、天气查询、维基百科检索、汇率换算、日期时间获取以及计算器;还有
create_document功能,可直接生成模型撰写的 Word、Excel 或 PowerPoint 文件。每条消息最多可附带 10 个文件供模型参考。 - 它不是什么: 绝非自动化代理工具。所有工具均无法执行程序或更改系统设置;唯一具备写入功能的工具也仅能在指定文件夹中新建文件而已。
下载途径
项目完全遵循 MIT 协议开源,地址为 github.com/LaserLloyd/ChatForge;文中所引用的所有 NPU 性能数据均可在 运行时说明文档中找到。在 GitHub 页面点击“代码 > 下载 ZIP”即可获取带安装程序的当前版本;本页末尾的下载区则提供旧版 0.1.0 的安装包。
最终效果一览
只需轻按快捷键,输入问题后就能得到即时回复:按下 Esc 键即可退出。每条回答都会标注出所使用的模型及其响应速度,让您清晰判断当前调用的是免费的本地模型还是需付费的云端服务。若提问需要实时数据,相关工具图标会显示检索结果;若请求较大模型生成报告,回复中还会附带 打开 与 在文件夹中显示 按钮以供操作。



截图中的对话内容、位置信息以及服务器名称均为示例数据;界面本身则是真实的,由 Edge(即 WebView2 背后的引擎)在项目的开发模拟环境中渲染出来。
各部分如何协同工作
整个系统由一个 Python 进程统一管理:包括系统托盘图标、全局快捷键、弹窗及设置窗口(基于 pywebview 与 WebView2 实现),以及负责实时返回回复结果并调用各类工具的 asyncio 核心模块。模型服务器则是一个完全由该进程控制的子进程——当用户在弹窗中选中本地模型时它才会启动,而随着应用程序关闭,Windows 作业对象也会自动将其终止,这样即便程序崩溃也不会有模型进程长期占用你的内存资源。
几乎没有任何代码是我们从零开始编写的,而这恰恰是我们的骄傲之处:进程管理、下载、托盘功能以及日志记录模块都来自 StudioForge;聊天界面与 Markdown 处理流程则源自 DisPatch,流式传输客户端则是从我们的基准测试工具中移植过来的。这些模块早已经受了数月的日常使用考验,每个被改编的模块的开头处也都有相应说明。正因如此,首个提交记录与 v0.1.0 版本发布的日期仅相差两天(分别为 2026-09-30 晚上和 2026-10-02),整个过程是由一个 LLM 智能体按照约 1000 行文字构成的计划来完成的。
安装步骤
在 Windows 11 系统上,仅需三步即可完成 ChatForge 0.2.0 的安装,全程无需使用终端且无需管理员权限:
- 获取安装包。 进入 GitHub 页面,选择“代码 > 下载 ZIP”并解压文件。
- 双击
Install ChatForge。 如果系统中缺少 uv 或 Python 3.12,安装程序会自动下载并校验其哈希值;随后将应用安装至%LOCALAPPDATA%\Programs\ChatForge目录,创建开始菜单与桌面快捷方式。安装程序还会询问是否让 ChatForge 随 Windows 启动,最后自动打开应用。由于该安装程序未经数字签名,首次运行时 Windows 会弹出“Windows 已保护您的电脑”提示:此时只需点击“详细信息 > 仍要运行”即可。 - 点击弹窗中的‘设置本地 AI’按钮。 安装程序会下载模型运行环境(OpenVINO Model Server,大小仅 139 MB)以及入门级模型
OpenVINO/Qwen2.5-1.5B-Instruct-int4-ov(0.94 GB,采用 Apache-2.0 许可)。整个过程仅显示一个进度条与取消按钮,程序还会逐一校验每个文件的 SHA-256 值是否与 Hugging Face 提供的数值一致。在网速较快的环境下,整个流程约需一分钟。若选择“使用 StudioForge”或“使用 API 密钥”,则无需下载本地模型。
如需升级,只需用新版 ZIP 包再次运行 Install ChatForge;所有设置与数据均会保留在 %LOCALAPPDATA%\ChatForge 中。Uninstall ChatForge 可卸载应用,但默认不会删除数据,除非添加 --purge 参数。关于安装程序的更多选项,可查阅仓库中的 deploy/windows/README.md。该文档还提供了可直接粘贴至 PowerShell 的指令集:包含上述三步操作以及开发者模式下的安装流程(git clone、uv sync --extra dev、uv run chatforge doctor)。
首次在配备 NPU 的设备上加载模型时,NPU 会执行编译操作:耗时约 45 秒,弹窗顶部会显示倒计时,以免用户误以为程序卡死。此后每次启动均直接从编译缓存中读取数据,仅需约 3 秒即可完成。在纯 CPU 环境下加载速度也仅需几秒,但界面上会标注“速度较慢”。本文撰写时我们并未重新运行安装程序;上述步骤均引自官方 README,其配图也是在未配备 NPU 的 Windows 11 设备上截取的。
Copilot 热键的使用难题
这里要谈谈购买笔记本电脑时厂商绝不会提及的问题:Copilot 热键无法被用户自定义。该按键实际发送的是 Win+Shift+F23 指令,Windows 系统已将该组合键预留给自身使用,而官方设置界面仅允许绑定经过打包且具备数字签名的应用程序。因此即便是您自行开发的程序,也无法成为该热键的响应对象。
可行的解决方案是借助 PowerToys 的键盘管理器:将快捷键 Win (Left) + Shift (Left) + F23 重新映射为 Ctrl+Alt+C(即 ChatForge 的启动热键),并开启 PowerToys 的“开机自启”功能。仅需一次映射操作,原本专供 Copilot 使用的按键就能调用您的聊天助手。若日后该按键又恢复了搜索或 Copilot 功能,说明 PowerToys 当前并未运行——这也是最常见的故障原因,因此排查步骤中它位列首位。
如何发挥 1.5B 参数模型的潜力
一个拥有 4096 个 token 上下文窗口的 15 亿参数模型,其能力其实相当有限。ChatForge 的巧妙设计正是基于这一现实:它并未试图掩盖模型的短板,而是巧妙地与之配合,实现最佳使用效果。
- 一个精简的工具列表。 虽然总共有九个工具可供使用,但本地模型只能调用其中五个(搜索、网页抓取、天气查询、日期/时间以及计算器)。小型模型在面对过多的工具选项时容易混乱;精简列表正是为了保持工具调用的简洁性。
- 先执行查询操作。 凡是明显需要实时数据的提问(如“天气如何”、“最新消息”、“价格是多少”),系统都会在模型生成回答之前先调用对应的工具。也就是说,模型会依据查询结果来作答,而非凭空猜测。这仅仅是简单的模式匹配,无需额外调用模型。
- 拒绝回复的修正机制。 小型模型常常会直接回复“我无法获取实时数据”,即便可用的搜索工具就在那里。凡是第一人称式的拒绝回复,或是承诺要查询却根本没执行操作的回复(比如“让我查一下……”之后毫无动作),都会被系统自动忽略;引擎会自行执行查询操作,随后再让模型重新作答。此过程期间弹出窗口会显示“正在查询中……”,用户也绝不会看到最初那个敷衍的回复。
- 不自动摘要。 当对话内容超出窗口显示范围时,最早的对话记录会被直接剔除出提示词,弹出窗口内会用一个分隔线标明模型当前可见的对话起点。系统不会在后台对内容进行改写或摘要,这样也不会增加模型调用的成本;同时模型也会知晓较早的对话已被裁剪,从而避免自行编造内容。
- 循环防护与预算控制。 单条消息最多只能触发6轮工具调用,若出现完全相同的调用请求也会被直接拒绝——毕竟1.5B规模的模型要是放任不管,会没完没了地反复调用天气查询工具。
- 兜底保障机制。 万一NPU模型加载失败、崩溃或响应超时,用户可重新发送相同消息至自行选定的其他服务提供商处。
以上这些机制其实都不依赖NPU即可运行——这套引擎同样适用于大型模型;但也正是这些设计,才使得免费的本地模型能够准确回答“本周末会下雨吗”这类问题,还能充分发挥NPU的性能优势,而非只是礼貌性地拒绝回复。
编译成功却输出乱码的模型
我们原本计划选用Qwen3-4B作为本地模型:参数规模更大、属于较新的模型系列,显然是理想之选。相关说明记录在该仓库的 docs/RUNTIME-NOTES.md 文档中:Qwen3-4B-int4-ov 模型在NPU环境下编译时毫无报错,可一旦运行 OVMS 2026.4版本,输出的内容却完全乱码——而完全相同的模型文件在CPU环境下却能以24词/秒的速度正常输出。该问题仅出现在NPU相关配置中,我们试遍了所有设置都无济于事;即便其他量化方案或许可行,在 OVMS 2026.4版本下也无法实现工具调用功能。由此可见,仅在NPU上编译成功根本无法说明什么问题,务必对最终输出内容做校验才行。
最终实际启用的模型为 Qwen2.5-1.5B-Instruct INT4,我们在 Core Ultra 5 226V(Lunar Lake)硬件上做了实测:
| Qwen2.5-1.5B-Instruct INT4在NPU上的表现 | 实测数值 |
|---|---|
| 首次编译耗时(仅一次) | 44.5秒 |
| 从编译缓存中加载耗时 | 2.7–3.2秒 |
| 解码速度 | 42–51词/秒 |
| 短提示词下的首个词输出延迟 | 0.5–0.8秒 |
| 磁盘上的编译缓存大小 | 306 MiB |
| 提示词窗口容量(固定值) | 4096个词 |
同一文档里还有个优化小技巧:OVMS支持 BEST_PERF 编译参数,启用后可让解码速度提升约10%(达48.3词/秒),不过编译耗时也会增至135秒,是默认设置下的三倍。ChatForge目前并未开启该选项,我们认为这样更合适:首次运行时44秒的等待时间,其实已经接近普通用户能接受的极限了。
文件输入与文档输出
每条消息最多可上传10个文件(点击回形针图标、拖拽或粘贴即可——每个文件上限20 MB):代码、文本类文档、CSV、JSON、HTML、Word、Excel、PowerPoint、OpenDocument、RTF、邮件、PDF,甚至旧版的 .doc 格式文件也能直接读取。若系统检测到安装了Microsoft Office,还会自动转换旧版 .xls/.ppt 格式文件。图片上传后也会经过校验、矫正方向、缩小至1568像素且移除所有元数据——拍摄信息、GPS定位及时间戳在存储或发送前均会被彻底清除;无法识别图片内容的模型则会读取Windows OCR识别出的文本作为替代。
反过来,create_document 功能允许 StudioForge 模型或云端模型保存生成的内容:ChatForge仅借助Python标准库即可将模型的Markdown输出转化为 .docx、.xlsx 以及 .pptx 格式文档,全程无需调用Office软件。生成的文件会存入 Documents\ChatForge 文件夹;若文件名重复,系统会自动添加序号生成 report (2).docx 避免覆盖原文件。回复界面还会显示一张卡片,附带 打开 与 在文件夹中查看 按钮供用户操作。该工具并未向小型本地模型开放:指望小鱼儿帮你撰写季度报告?那可是你自己的责任了。
它刻意不具备的功能
ChatForge 并非智能代理,其能力边界是由结构决定的,而非通过提示词来保证。九个工具中有八个仅为只读查询工具;第九个工具仅能在自己的文件夹内添加新文件,绝不会覆盖任何已有内容。没有任何工具能够运行程序、修改设置或读取你未提供的文件。fetch_url 会拦截私有地址及本地网络地址(包括 DNS 重绑定攻击)。该计算器属于经过白名单授权的计算工具,不具备 eval 功能。所有 API 密钥均存储在 Windows 的凭据管理器中,且均已经过日志脱敏处理。从设计层面来说,模型服务器会随着应用程序的关闭而停止运行。它仅保留单次对话记录,不会存档你所有的历史提问。即便模型出现判断失误,其可能造成的后果也仅仅是给出错误答案并在文件夹中生成新文件而已——这样的影响范围对于一个托盘助手而言其实已经足够了。
0.2 版本的新特性
ChatForge 0.2.0 发布于 2026 年 10 月 18 日。从此以后,Windows 11 用户再也不需要终端、Python 或 Git 了。从下载安装到开始首次对话仅需三步:双击 Install ChatForge,点击“设置本地 AI”,然后输入内容即可。
- 一键式安装与卸载程序:该程序专为单个用户设计,无需管理员权限;它还会自动创建快捷方式并在“已安装应用”列表中添加条目(详见安装指南)。
- 一键启动模型功能:首次运行时会出现相应卡片,其中包含了运行时组件以及 1.5B 参数的 Qwen 模型下载链接,还提供了取消选项。
- 无 NPU 时的 CPU 运行模式:若电脑未配备 Intel NPU,本地模型便会转而使用 CPU 运行;此时相关界面与状态栏也会明确显示此信息。README 文档中的测试数据显示,在一台此类设备上该模型的生成速度约为每秒 45 个词。
local.device在config.toml文件中的值仍保持为NPU,因此即便日后安装了 NPU,也无需更改任何配置即可自动启用。 - 启动设置询问机制:安装程序会主动询问是否启用自启动功能,绝不会默认静默执行。若你是通过源码安装的,同样会在弹出窗口中看到该询问。之后也可通过
chatforge autostart enable或disable来更改此设置。 - 默认采用 Glacier 主题:新安装的用户会默认使用该主题,而已有用户则维持原有设置不变。
- 扩展插件接口:Python 包可通过
chatforge.extensions入口点进行注册;这些插件能获得专属配置区域、开关控制与事件钩子,还能调用chat.send和chat.cancel。当前该 API 处于 1.0 版本阶段,在 ChatForge 尚未脱离 0.x 系列时仍可能有所变动(详见 docs/extensions.md)。

从 0.1.0 版本升级的方法。 若你是通过源码克隆安装的,只需执行 git pull 后再运行 uv sync(因锁定文件有所变动,Python 版本上限也降至 3.14)。当然你也可以选择直接安装官方程序包。首次启动时系统会自动迁移你的 config.toml 配置:自启动设置会被保留且不再重复询问;数据存储路径也不会发生任何变动。不过你可能需要完成以下两项操作:
- 其他电脑上的 StudioForge 服务器需要 API 密钥。StudioForge 2.0 版本规定,来自其他设备的请求必须携带有效的 API 密钥方可被接受。你需要在装有 StudioForge 的机器上创建密钥(命令为
studioforge keys create),随后将其填入“设置”>“服务提供商”>“StudioForge”一栏中。此时若请求未获批准,系统会给出明确提示。 - 此前使用 Python 3.14 的克隆安装用户需切换至 3.12 或 3.13 版本。
语音功能:可选且尚处测试阶段。 当前代码库中新增了一个“按住说话”插件 packages/chatforge-voice(目前为 0.1 版本)。使用时只需按住按键即可发声,ChatForge 会借助 Parakeet 进行语音识别并调用 Chatterbox-Turbo 引擎生成语音输出;整个过程完全在本地 CPU 上完成,不会将任何数据上传至外部服务器。该插件需单独安装至 ChatForge 运行环境,其所需模型文件体积约为 1.4 GB,这些文件需通过浏览器弹出的小型面板下载。目前该插件尚不具备免唤醒监听功能。我们尚未在自己的笔记本上测试此功能,故将其视作预览版使用为宜。
仍需注意的事项: 初始模型支持的最大上下文长度为 4096 个词元;有时它计算得出的数值会出现偏差(此时可提示其“使用计算器”);所提及的 NPU 性能数据均源自一台 Lunar Lake 架构的测试机,其他芯片的性能情况尚待验证;目前暂不支持 Linux 与 macOS 系统;由于托盘程序需配合热键操作且依赖 NPU 支持,因此尚未推出 Docker 版本。
常见注意事项
- 在普通 Windows 系统上直接运行
python实际上只是调用微软商店的占位程序。 请始终使用py -3.12 -m uv run …命令,或者借助launchers\目录下的启动器。否则其他操作根本无法顺利进行。 - Copilot 键无法被设置为热键。 它固定为
Win+Shift+F23,且 Windows 会强制保留该绑定。只能通过 PowerToys 进行重映射,别无他法。 - 切勿以为成功编译就意味着模型能正常使用。 Qwen3-4B 虽然能编译通过,但在 NPU 上却会输出乱码;系统目录中的标记会将其标注为“应避免使用”,而未知模型则标记为“未测试”。
- 驱动更新或电脑进入睡眠/唤醒状态都可能破坏编译缓存。 需前往设置 > 模型页面点击“清除缓存”后再重新加载。此时启用备用提供程序即可保证服务不中断。
- 小型模型在长对话中性能会下降——会出现工具调用失效、循环响应或回答质量变差等情况。这其实是 1.5B 参数模型难以维持长上下文所致,并非需要修复的故障:只需清除当前聊天记录,或换用更大规模的模型处理复杂问题即可。
- 旧版
.xls/.ppt格式附件必须安装 Office 才能转换(转换过程在临时副本上进行且不可见)。未安装 Office 的话,请先将其另存为.xlsx/.pptx。至于 HEIC 格式照片则需安装可选的pillow-heif插件,或另存为 JPEG 格式。 - 分发许可说明: 本应用遵循 MIT 协议,但运行时直接调用的
pystray托盘库受 LGPL-3.0 协议约束。正常安装使用并无问题;但若制作打包程序并嵌入该库,则必须履行 LGPL 要求的代码再链接义务。
现状与总结
从首次提交到正式发布 v0.1.0 仅用了两天时间,这更多体现了我们对成熟组件的复用能力而非开发效率。监控模块、聊天界面以及流式传输客户端均直接取自此前已在家中运行的现成项目。NPU 适配反而是最轻松的一环;真正的挑战在于如何充分发挥 1.5B 模型的价值——比如限定工具调用范围、强化前置检索机制以及提升拒绝响应的可靠性。我们刻意缩小了功能边界:既未添加智能代理能力,也不提供聊天记录归档服务,更不会在未经用户明确授权的情况下将数据上传至云端。当前版本仅支持 Windows 平台,编号定为 0.2.0 也体现了其实际定位。正是完备的测试套件给了我们持续迭代的信心:CI 流程会在 Windows 与 Ubuntu 环境下分别执行 Ruff 检查及 Python 单元测试,同时 Node 24 环境也同步完成 JavaScript 测试验证。
版本信息
当前 0.2.0 版本对应的提交记录为 de30788(日期:2026-10-19),其包含的 183 项 JS 测试在 Linux 平台(Node v24.18.0)上全部通过。最初的 0.1.0 版本发布于 2026-10-02,相关验证数据如下:
$ git log -1 --format='%h %ci'
2edd2d4 2026-10-02 18:04:38 +0900 # ChatForge v0.1.0
$ uv run pytest -q
1520 passed, 6 skipped, 6 deselected in 50.65s # 运行环境:Linux,Python 3.13.14
$ npm run -s test:js
tests 114 / pass 114 / fail 0 # Node v24.18.0
Windows 平台的实际运行指标为:采用 OpenVINO Model Server 2026.4.0 环境(python_on),使用的模型是 OpenVINO/Qwen2.5-1.5B-Instruct-int4-ov,测试硬件为 Intel Core Ultra 5 226V。文中提到的 NPU 相关数据源自仓库中的 docs/RUNTIME-NOTES.md 文档,该文件同时记载了所有 Qwen3-4B 模型配置的失败案例。
相关链接:StudioForge:纯 GPU 版 LLM 服务器 · DisPatch:本地化部署的 AI 聊天工具 · DeepSeek Harness (dsh) 初探 · 如何在本地运行 DeepSeek:零基础四步指南 · 本地 AI 代理的真实成本对比:DeepSeek vs 大型云 API
下载
仅限个人使用免费。如果它替你省下了一下午的时间,欢迎点旁边的咖啡按钮支持一下。