手把手教你在 NAS 上部署本地 DeepSeek-R1 大语言模型

2025-02-05 09:47:33 31点赞 216收藏 25评论

Hello 大家好,我是 David

订阅我的频道 ,分享更多 NAS 教程和资讯 ~

Ollama:

一个用于在本地运行大型语言模型(LLM)的开源框架

手把手教你在 NAS 上部署本地 DeepSeek-R1 大语言模型

安装

Docker Compose

services: ollama: image: ollama/ollama:latest container_name: ollama volumes: - /vol1/1000/docker/ollama:/root/.ollama ports: - "11434:11434"

TIP:

上面配置是纯 CPU 运行,如果要使用 GPU(Nvidia/AMD)自行看文档配置

https://hub.docker.com/r/ollama/ollama

使用

浏览器中输入 http://NAS的IP:11434 正常情况显示运行中

手把手教你在 NAS 上部署本地 DeepSeek-R1 大语言模型

TIP:

上面部署的这个只是一个本地运行的框架,下面还需要下载模型才可以运行。如果需要美观的 UI 界面,还需要另外安装其他应用配合。

下载模型

来到 Ollama 官网:https://ollama.com

手把手教你在 NAS 上部署本地 DeepSeek-R1 大语言模型

下载模型,点击右上角“Model”

手把手教你在 NAS 上部署本地 DeepSeek-R1 大语言模型

可以看到目前最火的“deepseek-r1”模型

手把手教你在 NAS 上部署本地 DeepSeek-R1 大语言模型

点击进入查看详情

手把手教你在 NAS 上部署本地 DeepSeek-R1 大语言模型

TIP:

- 7b 大小的模型通常至少需要 8GB RAM

- 13b 大小的模型通常至少需要 16GB RAM

- 33b 大小的模型通常至少需要 32GB RAM

- 70b 大小的模型通常需要至少 64GB RAM

这里可以选择模型大小,不指定的话默认是 7B

手把手教你在 NAS 上部署本地 DeepSeek-R1 大语言模型

复制旁边的代码

手把手教你在 NAS 上部署本地 DeepSeek-R1 大语言模型

打开 Ollama 的终端

手把手教你在 NAS 上部署本地 DeepSeek-R1 大语言模型

TIP:

下载到最后快完成的时候会很慢,不要关闭弹窗不然就看不到进度

拉取 deepseek-r1 模型

ollama run deepseek-r1手把手教你在 NAS 上部署本地 DeepSeek-R1 大语言模型

模型下载完成,自动就会进入模型可以对话

手把手教你在 NAS 上部署本地 DeepSeek-R1 大语言模型

简单使用

因为没有UI界面,所以还是在这个控制台界面操作

列出模型

ollama list手把手教你在 NAS 上部署本地 DeepSeek-R1 大语言模型

前面部分就是模型名称,后面是版本标签

手把手教你在 NAS 上部署本地 DeepSeek-R1 大语言模型

运行模型

ollama run 模型名称:版本标签手把手教你在 NAS 上部署本地 DeepSeek-R1 大语言模型

可以直接输入问题,回车确认

hello world!手把手教你在 NAS 上部署本地 DeepSeek-R1 大语言模型

中文也是没问题的,而且也有思考的过程

手把手教你在 NAS 上部署本地 DeepSeek-R1 大语言模型

简单测试

测试机器处理器是 i5-1235U,内存 40GB 4800MHz,运行 deepseek-r1:7b 模型

输入“hello world!”,回答完毕需要大概 9 秒比较流畅,速度要比想象中快很多

手把手教你在 NAS 上部署本地 DeepSeek-R1 大语言模型

资源占用情况,没有加载模型前

手把手教你在 NAS 上部署本地 DeepSeek-R1 大语言模型

资源占用情况,加载模型以后

手把手教你在 NAS 上部署本地 DeepSeek-R1 大语言模型

资源占用情况,回复问题时

手把手教你在 NAS 上部署本地 DeepSeek-R1 大语言模型

这里我还试了一下 14b 的模型

ollama run deepseek-r1:14b手把手教你在 NAS 上部署本地 DeepSeek-R1 大语言模型

输入“hello world!”,回答完毕需要大概 14 秒,能明显感觉到卡顿,不太建议用 CPU 跑了

手把手教你在 NAS 上部署本地 DeepSeek-R1 大语言模型

和 7b 对比,两者对 CPU 压力差不多,主要还是内存占用不同

手把手教你在 NAS 上部署本地 DeepSeek-R1 大语言模型

总结

部署和使用其实还是很方便的,没有遇到什么问题,小白也可以轻松上手。本地部署大模型的好处就是不需要联网,数据相当比较安全。虽然运行小模型对设备要求不算太高,但想要有一个比较好的体验还是直接调用官方 API 是最便捷高效的。

手把手教你在 NAS 上部署本地 DeepSeek-R1 大语言模型

综合推荐:⭐⭐⭐⭐(还是挺有意思的)

使用体验:⭐⭐⭐⭐(挺不错的)

部署难易:⭐⭐(简单)︎

展开 收起
25评论

  • 精彩
  • 最新
  • 今天本地 pulling 宽带速度能拉满,搭配可视化窗口才好用,命令行就尝鲜体验的毛胚

    校验提示文案

    提交
    用lm studio吗

    校验提示文案

    提交
    用 ollama 这个拉的

    校验提示文案

    提交
    收起所有回复
  • 单位写材料,能用这个形成本地数据库,然后给指令出长篇文章吗?

    校验提示文案

    提交
    还要搭配知识库框架才行,看看有空我会更新一下其他相关教程

    校验提示文案

    提交
    期待新文章,学习学习!

    校验提示文案

    提交
    还有1条回复
    收起所有回复
  • 使用时收费吗?

    校验提示文案

    提交
    本地部署肯定是免费的

    校验提示文案

    提交
    收起所有回复
  • 这本地部署离线的,是不是回答不是最新的东西?

    校验提示文案

    提交
    一般都是旧数据

    校验提示文案

    提交
    收起所有回复
  • 大佬,我浏览器搜到这篇文章,特意下载了 APP 来关注您,坐等更新 nas +deepseek+知识库的教程 [捂嘴] [捂嘴] [捂嘴]

    校验提示文案

    提交
    其实之前就出过教程,我看看有空最近更新一下

    校验提示文案

    提交
    收起所有回复
  • 大佬这个删除模型命令是什么,拉错了一个想删掉

    校验提示文案

    提交
    ollama rm

    校验提示文案

    提交
    谢谢

    校验提示文案

    提交
    收起所有回复
  • 黑裙部署的话会不会卡,还是1900的u [喜极而泣]

    校验提示文案

    提交
    肯定不行,起码要n100

    校验提示文案

    提交
    收起所有回复
  • 没有固网ip的能不能用?

    校验提示文案

    提交
  • 没啥用,不建议 nas 部署,甚至不建议本地电脑部署,我 3080 电脑部署一个 32b 就慢得很,而且挺弱智,与官方在线版本,完全是天壤之别。

    校验提示文案

    提交
    有些工作性质,就是无网也得用,弱一点比用不了强,所以我今天也部署本地了

    校验提示文案

    提交
    收起所有回复
  • 8b速度快,但内容差错很多。起码要14b才能比较正常使用。

    校验提示文案

    提交
  • 毫无卵用

    校验提示文案

    提交
  • 本地部署完,基本没用,哪怕加上知识库,效果也一点不好

    校验提示文案

    提交
  • 能用在线用在线吧,本地部署没法联网搜索,速度慢点我能接受,一个字一个字蹦也行,但没法联网搜索这就麻烦了。

    校验提示文案

    提交
提示信息

取消
确认
评论举报

相关文章推荐

更多精彩文章
更多精彩文章
最新文章 热门文章
216
扫一下,分享更方便,购买更轻松