群晖DS923+本地AI助手部署指南

2026-06-25 21:56:58 0点赞 2收藏 0评论

兄弟们,折腾NAS好几年了,以前总觉得NAS就是个存照片、下电影的仓库。直到最近AI火得一塌糊涂,我就在想,能不能把我的群晖也利用起来,搞个本地的AI助手?毕竟把数据传给云端总有点隐私焦虑,本地部署才是王道啊!

群晖DS923+本地AI助手部署指南

这次我主要用的是家里的老伙计——群晖DS923+。虽然它不是最新的X86架构(它是AMD R1600),很多人说性能弱,但我实测下来,只要配置得当,跑一些轻量级模型完全没问题。

群晖DS923+本地AI助手部署指南群晖DS923+本地AI助手部署指南

系统方面,我果断放弃了原生的Docker套件(因为国内网络你懂的,拉取镜像太慢),直接上了Container Manager。为了跑AI,我选的是Ollama这个神器,它真的太适合新手了,不用在那敲一堆复杂的Python命令,一条指令就能把模型拉下来。

我尝试部署了Llama3-8B和Qwen2-7B这两个模型。刚开始的时候,DS923+的CPU占用率直接飙到90%多,风扇呼呼转,生成速度大概每秒2-3个token,确实有点慢。后来我灵机一动,给NAS插了一张瑞昱RTL8125的2.5G网卡(其实自带了),重点是把内存加到了32GB DDR4 ECC( Crucial英睿达的条子,稳!)。

最关键的避坑指南来了:一定要在Docker里设置好环境变量 OLLAMA_HOST=0.0.0.0 ,不然局域网其他电脑访问不了!还有,如果你也是DS923+这种非N卡用户,别指望GPU加速了,老老实实吃CPU算力,或者考虑买个USB接口的NPU加速棒试试。

现在,我已经能在局域网内通过Chatbox AI这个客户端,丝滑地连接到我NAS上的Ollama服务了。写个周报、润色个邮件,响应速度虽然不如云端,但那种“数据完全掌握在自己手里”的安全感,真的是谁用谁知道!这不仅仅是个玩具,这是属于我们DIYer的浪漫啊!

展开 收起
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

相关文章推荐

更多精彩文章
更多精彩文章
最新文章 热门文章
2
扫一下,分享更方便,购买更轻松