AI 与本地 LLM

在自己的硬件上运行 AI——本地大语言模型、智能体和图像生成。不用订阅,不用云端,也不需要计算机学位。

AI 与本地 LLM

StudioForge:一款仅支持GPU运行的LLM服务器,成功取代了LM Studio

我编写了自己想要的模型服务器:一个与 OpenAI 兼容的 llama.cpp 网关,运行在 1234 端口上。该网关会在加载模型前预先规划显存;若显存不足,则会拒绝加载模型,而不是将其转移到 CPU 上运行。它还能让已固定的模型保持加载状态。此外,它还为另一台机器上的代理程序提供了 29 个 MCP 工具来控制整个系统。该软件可免费下载,源代码也发布在 GitHub 上。

2026年8月23日 · 更新日期 2026年9月16日
AI 与本地 LLM

我的AI代理实际产生的费用:DeepSeek与各大API对比

我使用的全天候运行型代理服务三个月的费用情况:6月和7月在DeepSeek上的支出为30.57美元;8月由于DeepSeek在16日上调了价格,加上我又新增了两个订阅服务,因此支出增至385.22美元。以下是各月份的详细开支明细、变化之处,以及若使用其旗舰级服务所需支付的费用。

2026年7月11日 · 更新日期 2026年9月14日
AI 与本地 LLM

MailForge:一款绝不会发送邮件的本地大语言模型邮件助手

一个可自托管的邮件分类助手:包含IMAP监听器、本地模型以及草稿队列。它能对邮件进行分类、标记并撰写回复,之后便停止运行。发送邮件则需人工点击操作。该工具免费使用,采用MIT许可协议,可在下方下载。

2026年8月19日 · 更新日期 2026年10月10日
AI 与本地 LLM

DisPatch:一款用于本地AI代理的自托管聊天应用

这是一款专为本地AI代理设计的自托管聊天应用,具备拖放式文件服务器功能,还设有由服务器强制执行的PIN码锁。它取代了我之前使用的、由30个容器构成的Rocket.Chat系统。目前2.0版本已发布,下载包仅为3MB的ZIP格式文件。

2026年7月11日 · 更新日期 2026年10月9日
AI 与本地 LLM

ThemeForge:一个无需额外设置即可使用的CSS主题系统,AI代理能一键完成安装。

ThemeForge只是一个名为 `ui-theme/` 的文件夹,它为网页应用提供了十种配色方案、一个颜色选择器、设计相关参数以及现成可用的组件类。其代码编写方式使得AI编程工具能够通过一条Python命令即可完成安装。该工具仅使用纯CSS实现,无需任何构建步骤或依赖项;采用MIT许可协议。源代码及压缩包可在此处下载。

2026年10月5日 · 更新日期 2026年10月6日
AI 与本地 LLM

ChatForge:一款专为 Copilot 键设计的本地 NPU AI 助手

我的笔记本电脑出厂时自带了 AI 快捷键与 AI 芯片,但二者此前从未“碰面”。ChatForge 让它们得以协同工作:按下 Copilot 键后,即可调用拥有 15 亿参数的 Qwen 模型,在英特尔 NPU 上以每秒 42–51 个词的速度进行响应。整个过程无需注册账号,任何数据也不会离开电脑;此外,只需点击一下就能调用 StudioForge 或云端模型。相关代码、源代码及压缩包均可在下方获取。

2026年10月2日 · 更新日期 2026年10月3日
AI 与本地 LLM

如何关闭非营利组织:终止OMLA运营的步骤

我花了数月时间来构建一个用于开源权重AI模型的非营利性许可框架,但最终并未正式发布便将其废弃了。这个框架的用途是什么?具体实现了哪些功能?又经历了怎样的过程才被关停呢?所有相关资料均已存档,可供下载。

2026年9月18日
AI 与本地 LLM

WordPress:让AI帮你写自定义区块(附免费手风琴实例)

一个免费的、可以直接复制粘贴的WordPress手风琴组件——纯HTML和CSS,不用插件,不用JavaScript——外加写出这段代码的那条AI提示词。

2025年3月12日 · 更新日期 2026年9月16日
AI 与本地 LLM

把聊天机器人放到公网上——用我自己的硬件

公网网站上的聊天机器人,但大脑是跑在我家里的一台小模型——每个 token 都不花钱,而且私密。这里讲的是让它安全运行的中转架构、我不得不堵上的安全漏洞,以及一份诚实的账:它到底有多慢,离生产可用还差什么。

2026年7月11日 · 更新日期 2026年9月16日
AI 与本地 LLM

设置您的LLM助手:Claude Code、Cowork、Reasonix和DeepSeek

本网站上每个“请自行实现”模块的引导内容都指向这一点:什么是具有自主行动能力的大语言模型助手,以及如今实现它的四种切实可行的方法。

2026年7月11日 · 更新日期 2026年9月16日
AI 与本地 LLM

Reasonix:一个基于DeepSeek、具有Claude Code风格的编程助手

这是一种终端编程代理,功能类似于 Claude Code——具备子代理、技能机制以及项目记忆功能——但它调用的是 DeepSeek 的按令牌计费式 API,而非采用订阅制。它还提供简易的设置流程、多种模型层级选择,以及全自动的更新机制。

2026年7月11日 · 更新日期 2026年9月16日
AI 与本地 LLM

OpenClaw出问题了?我用 Claude Code 修复它

我的两级修复策略:由 OpenClaw 代理来处理常规工作;一旦出现严重故障,就由 Claude Code 来修复,之后再指导 OpenClaw 如何在下次处理类似情况。

2026年7月11日 · 更新日期 2026年9月16日
AI 与本地 LLM

MiniMax M3:一个 OpenClaw 编程智能体与 Kimi K3 和 dsh 的对比

在 OpenClaw 自带的代理循环机制下,MiniMax M3 仅用 159 秒便完成了五项小型编程任务;而 Kimi K3 则耗费了 310 秒(此时 Kimi 处于最大思考模式,且测试环境也有所不同)。值得一提的是,MiniMax M3 的成本仅为其标价的四分之一。最初我以为那个小程序是 Kimi 开发的。

2026年9月12日 · 更新日期 2026年9月16日
AI 与本地 LLM

我的 OpenClaw 设置:一个能制作网站的“全能盒子”

一台 Linux 迷你电脑上运行着 OpenClaw 代理程序,这些程序负责编写、构建并发布本网站。通往服务器的唯一通道是一个部署脚本:该脚本默认只进行模拟运行,会先执行备份操作,绝不会删除任何数据,并且会等待我的许可指令才会继续操作。

2026年7月31日 · 更新日期 2026年9月16日
AI 与本地 LLM

在 AMD 平台上本地运行 AI 图像生成:ComfyUI + Z-Image Turbo

我是如何将搭载 AMD Strix Halo 的机器变成本地 AI 图像生成器的——让 ComfyUI 和 Z-Image Turbo 作为 systemd 服务运行,无需任何云账户,生成一张 1024px 的图像仅需约 27 秒。

2026年7月11日 · 更新日期 2026年9月16日
AI 与本地 LLM

在一台迷你电脑上运行的小型AI代理办公室:我的OpenClaw技术栈

我家的一台迷你电脑上运行着六个AI代理:一个在固定费率云服务方案上运行的主导代理,一个负责繁重任务的无状态工作代理,一个审核代理,还有运行在GPU设备上的本地模型。以下是配置信息、一次真实的任务交接,以及防止已完成工作丢失的监控程序。

2026年7月11日 · 更新日期 2026年9月16日
AI 与本地 LLM

OpenClaw中的Kimi K3与dsh对比:完成5个任务,但速度慢了9倍,成本则高出48倍

Moonshot的Kimi K3驱动OpenClaw的代理循环,完成了五项小型编程任务:全部通过,但速度约为DeepSeek V4-Flash上dsh预热运行的9倍慢,成本则高出48倍(与冷启动运行相比为22倍)。那个像素艺术小工具的开发需求足足尝试了三次才搞定。

2026年9月12日 · 更新日期 2026年9月16日
AI 与本地 LLM

InfoForge:用作本地AI代理的RAG数据源的离线版维基百科

整个英文版维基百科——1919万条条目,大小达52.69 GB。即便没有互联网连接,我的AI程序也能通过本地搜索索引来查询其中的内容。每个回答都会注明所引用的文章来源;如果找不到相关文章,它也会如实说明,而不会随意猜测。

2026年8月28日 · 更新日期 2026年9月16日
AI 与本地 LLM

我如何通过指挥AI代理来构建OMLA,而非亲自编写代码

只有我一个人,没有后端团队:我指挥AI编程助手为一家非营利组织打造了一个真正的版权许可平台,其中还包含了审计功能以及受控部署机制。这里说的是实际的操作过程,而非宣传用的演示片段。

2026年7月11日 · 更新日期 2026年9月16日
AI 与本地 LLM

如何让大语言模型将任何项目适配到您的系统中

将任何开源项目——无论是 GitHub 代码库还是从本网站下载的压缩包——交给 AI 助手,让它在你自己的电脑上运行起来的通用方法,即便你不会编程。

2026年7月11日 · 更新日期 2026年9月16日
AI 与本地 LLM

无头模式下的 ComfyUI:将其作为服务运行,随时随地使用

继我之前搭建的基于AMD平台的ComfyUI之后:现在可以将其作为systemd服务在无显示器的环境下运行,通过脚本调用HTTP API来控制它;同时还能从任何设备安全地访问浏览器界面——而所有工作流程的生成结果依旧会保存到本地。

2026年7月11日 · 更新日期 2026年9月16日
AI 与本地 LLM

我用AI为自己的家人制作了一个日本旅游行程规划应用

这是一款专为家庭日本之旅设计的私人、需PIN码验证的行程规划网页应用——包含每日行程安排、实时天气、离线支持,以及一个内置AI助手,可解答疑问并进行小幅编辑。以下是它的构建过程及各种注意事项,并附有可供下载的清理过的示例文件。

2026年7月11日 · 更新日期 2026年9月16日
AI 与本地 LLM

DeepSeek 本地运行:一份零经验也能跟着做的 4 步指南

一份四步指南,教你用 Ollama、Docker 和 Open WebUI 在自己的电脑上运行 DeepSeek。不需要云账号,不需要订阅——只要一张显存 8GB 的显卡就够了。

2025年2月11日 · 更新日期 2026年9月16日
AI 与本地 LLM

DeepSeek Harness(dsh):安装、无头运行、三模型基准测试

DeepSeek 这款 MIT 许可的编程代理,在发布五天后即被安装使用:npm install、专为脚本设计的无头单次执行模式、systemd 单元、在一个 YAML 文件中切换模型,以及在 V4-Flash、V4-Pro 和本地 Gemma 上以几美分的成本实现 15/15 全部通过。

2026年8月18日 · 更新日期 2026年9月16日
AI 与本地 LLM

DeepSeek无处不在:Claude Code与本地代理堆栈

2026年7月,DeepSeek默默支持了我的家用代理堆栈以及Claude Code。以下是三种可直接复制使用的配置模式,其中还包含了那个能确保API密钥完全不会出现在argv中的systemd技巧。

2026年7月11日 · 更新日期 2026年9月16日
AI 与本地 LLM

CHUWI AuBox Ai365:我的“AI家庭实验室”一体机

一款不太为人所知的 Strix Point 迷你主机,配备两个 2.5GbE 接口、USB4 以及 Ryzen AI 9 365 处理器。它运行的是搭载了内建驱动程序的 Bluefin Linux 系统,还承载着我开发的由六个智能体组成的 AI 系统;该处理器的功耗仅为 4.6 瓦。它替代了那台已经损坏的 128 GB 存储容量的平板电脑。

2026年8月1日 · 更新日期 2026年9月16日
AI 与本地 LLM

我的 AI 代理为我的 AI 代理们打造了一个基准测试工具

我的编程代理编写了 bench-llm:1,660 行 Python 代码,用于对 LM Studio 中的本地模型进行基准测试。两周内我的模型都得了 5/5 分,于是我改用 CrucibleForge:251 个用例,其中 158 个为高难度,现已在 GitHub 上发布。

2026年8月11日 · 更新日期 2026年9月16日
AI 与本地 LLM

华硕ROG Flow Z13:我那本应便携、却再也无法便携的“移动实验室”

一台128GB容量的游戏平板原本可以运行我的人工智能程序、各类网站以及整个家庭网络——直到一次电源故障导致它在每次开机后30秒便自动进入休眠状态。以下是详细的故障分析。

2026年7月30日 · 更新日期 2026年9月16日
AI 与本地 LLM

像素艺术小工具大比拼:三位编程能手,同一任务,两位创作者

我给 dsh、Kimi K3 和 MiniMax M3 安排了相同的任务:制作一个像素风格的 LaserLloyd 标志小部件。dsh 和 Kimi 都成功编写出了可用的小部件。MiniMax 则回复说它也制作了一个,但它提供的文件实际上是 Kimi 的文件。

2026年9月12日 · 更新日期 2026年9月12日
AI 与本地 LLM

用Claude Code把WordPress改成静态站:我如何用一个下午重建了这个网站

这个网站以前跑在WordPress上。一个AI编程代理花了一个下午,把它重建成了一堆Markdown文件加一个183行的Python生成器——现在维护网站用的还是同一套流程。

2026年7月11日
AI 与本地 LLM

AI厨师:一个用于每周膳食规划的免费系统提示词

只需复制粘贴这条系统提示词,就能把聊天式AI变成专业厨师:它能生成每周的晚餐计划、实用的食谱,还能根据超市的货架布局来整理购物清单。该功能可在我本地的Ollama服务器上运行,不过普通的ChatGPT也能实现类似功能。

2024年12月19日