DeepSeek 本地运行:一份零经验也能跟着做的4步指南
- 发布日期
- 2025年2月11日
- 作者
- Jacob Lloyd —— 项目完成后，在 AI 协助下撰写
- 阅读时长
- 约 6 分钟阅读
简单来说： 一份新手友好的四步指南,教你完全在自己的电脑上运行 DeepSeek AI 聊天机器人。不需要云账号,不需要订阅,你输入的任何内容都不会离开你的电脑。只要你的显卡有 8GB 或更多显存,就可以跟着做。
这是一份简单的指南,教你在自己的电脑上本地运行 DeepSeek。你不需要任何大语言模型(LLM)相关的背景知识——只要能照着步骤做,就能完成。
本指南使用以下软件(以 Windows 电脑为例):
- Ollama —— 运行模型本体
- Docker —— 运行 Open WebUI
- Open WebUI —— 你实际用来聊天的网页界面
我自己的硬件是一台 128GB 内存的 Threadripper 主机,配了两张 RTX 3090 加一张 RTX 2080 Super(显存总共约 56GB)。你不需要这么夸张。任何一台配有显卡、显存至少 8GB 的电脑都能跟着做。
1. 准备软件
设置 Ollama
把 Ollama 安装到你的系统上。Ollama 是运行 LLM 的后端——它本身不带图形用户界面(GUI,也就是你实际操作的那个网页)。界面的部分稍后再装。
通过下面的链接安装:
https://ollama.com/download/windows
安装完成后,测试一下是否正常工作:
- 打开命令提示符(在搜索栏输入 "cmd" 即可打开命令提示符)
- 在命令提示符中输入 "ollama" 并回车
- 如果弹出一堆命令列表,说明 Ollama 已经在正常工作。这时可以关掉命令提示符窗口,Ollama 会在后台继续运行:
- 如果提示 "'ollama' is not recognized as an internal or external command, operable program or batch file",说明安装失败了,请重新安装一次。
C:\Users\you>ollama
Usage:
ollama [flags]
ollama [command]
Available Commands:
serve Start ollama
run Run a model
pull Pull a model from a registry
list List models
ps List running models
rm Remove a model
...本步骤完成的标志:你能从命令提示符打开 Ollama
设置 Docker
如果你还没有安装 Docker,请按以下说明设置(不需要做任何修改,照着执行即可):
https://docs.docker.com/desktop/setup/install/windows-install
本步骤完成的标志:你能在电脑上打开 Docker:
设置 Open WebUI
Open WebUI 只是一个让你能和 Ollama 对话的界面。市面上有好几种可选,这是我自己在用的一个。
请按照快速入门页面的说明操作:
https://docs.openwebui.com/getting-started/quick-start
- 在撰写本文时,只需要运行以下命令即可(注:这是因为我用的是 Nvidia 显卡):
docker pull ghcr.io/open-webui/open-webui:maindocker run -d -p 3000:8080 --gpus all -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:cuda- 第二条命令只适用于 Nvidia 显卡用户(CUDA 是 Nvidia 专有的)
- 其他情况的说明可以在上面的链接里找到
完成后,你应该会在 Docker 里看到一个新的容器:
点击 Port(端口)即可启动网页界面。
- 界面打开后,创建一个登录账号
- 这是本地运行的,所以这个账号只是用来在你自己的电脑上验证身份,并不会创建任何在线账号。
- Open WebUI 关于创建账号的官方文档在这里:链接
本步骤完成的标志:你能打开图形界面(点击 Docker 容器里的 "Port(s)")并成功进入 Open WebUI
注意:此时你应该还没有加载任何模型
2. 选择要下载的 DeepSeek 版本
DeepSeek(以及其他所有 LLM)都有不同的版本。可以调的两个旋钮是参数量(越多越好)和量化精度(越高越好)——但最终限制你的,是你显卡能装得下多少(也就是你的显存)。
参数量和量化的基础知识
参数量指的是模型的大小——70 亿、140 亿、320 亿,以此类推。未压缩的情况下,每 10 亿参数大约占用 1GB 显存,所以一张 8GB 显卡大致能在满精度下跑一个 7B 模型。文件大小的换算也差不多:7B 模型大约 7GB,40B 模型大约 40GB。参数越多也越"聪明"——同一个模型的 7B 版本可能显得笨笨的,而 40B 版本却能表现得几乎像人一样。
量化就是压缩,用位数来衡量——常见的有 16、8、6、4 位。位数越少,文件越小,但也会损失一些质量:16 位时,10 亿参数大约对应 1GB 模型体积;4 位时大约 0.6GB。经验法则是:16/8/6 位能保持模型在满尺寸下的智能程度;5 位或 4 位已经足够聪明,体积适中、速度也快;2 位或 3 位体积非常小,但可能说话不太连贯。想深入了解的话,这里有一份很棒的量化图解指南。
好在这部分 Ollama 已经帮你简化好了。它提供的现成模型,压缩程度都恰到好处,同时还能保持连贯性。
第一步:你需要先知道自己电脑有多少显存(也就是显卡上有多少内存)
如何查看自己电脑的显存容量
在 Windows 上,按 Ctrl + Shift + Esc 打开任务管理器,点击性能,再点击你的GPU。专用 GPU 内存这一项就是你的显存——总量是你实际拥有的,可用显存则是总量减去当前正在使用的部分。举例来说,如果总量是 24GB、已用 1.2GB,那你大约还有 22.8GB 可用。如果你有多张显卡(像我一样),把它们的显存加起来就是总量。
第二步:找到一个能塞进你显存的 DeepSeek 版本
Ollama 上的模型都是可以直接下载的:
- 打开 Ollama 上 DeepSeek 的模型页面
- 点开下拉菜单,选一个能塞进你显存的版本
- 注:我一般会确保模型占用不超过可用显存的 70%。
- 举例:如果你有一张 8GB 显存的 RTX 4060,系统占用了其中 1GB,那可用显存大约是 7GB。能塞进去的就是 7B 或 8B 版本。
选好之后,点击 "Copy" 按钮复制运行命令。
3. 下载 DeepSeek
打开命令提示符(在搜索栏输入 "CMD",命令提示符就会出现;点击"命令提示符"打开)。
粘贴运行命令(也就是你从 Ollama 网站上为目标模型复制的那段文字),然后按回车。效果大概是这样:
C:\Users\you>ollama run deepseek-r1:8b
pulling manifest
pulling 96c415656d37... 100% ▕████████████▏ 4.9 GB
verifying sha256 digest
successOllama 会下载模型并启动它。
模型下载完成后,你就可以关掉命令提示符了。
4. 使用 DeepSeek
通过 Docker Desktop 打开你的 Open WebUI。
注意:你可能需要刷新网页(界面)才能让 DeepSeek 显示出来。如果还是不行,就停止你的 Docker 容器(点击 Docker Desktop 中端口旁边的 Stop 按钮),然后重新启动——停止后,那个按钮会变成 "Play" 按钮,点它,再点网址加载页面。
进入 Open WebUI 后,用下拉菜单选择 DeepSeek。
大功告成
DeepSeek 现在已经在你的电脑上完全本地运行了。
DeepSeek 模型在回答之前会先"思考"一下。
我这台机器生成一次回答大约要 30 秒。
如果你想让 DeepSeek 帮你写代码,而不只是聊天,我也写过相关文章:把 DeepSeek 接入 Claude Code 和本地代理栈,以及 Reasonix,一个跑在 DeepSeek 上、Claude Code 风格的编程代理。