NAS跑AI大模型：从入门到放弃再到真香的全过程

#NAS+AI部署实战

NAS跑AI大模型：从入门到放弃再到真香的全过程

去年双十一我入了台群晖DS224+，本来只想当个下载机+照片备份器。结果有天刷到个帖子说"NAS能跑ChatGPT"，我就动了歪心思。

接下来的两个月，我经历了"兴奋→折腾→崩溃→想退货→突然真香"的完整心路历程。今天把这段弯路拉直了讲给你听，帮你省掉至少20小时的无效折腾。

NAS跑大模型真香

第一阶段：盲目上手，当场翻车

一开始我犯了个典型新手错误：看到B站UP主演示跑Llama2 70B，流畅得飞起，二话不说就照着教程装。

结果呢？DS224+的J4125处理器+2GB内存（对，群晖标配就这么抠），连模型文件都加载不进去，直接OOM（内存溢出）崩掉。Docker容器反复重启，NAS差点变砖。

教训一：别看UP主的机器，先看自己的配置单。

人家用的是64GB内存+RTX 4090的工作站，只是碰巧装了个NAS系统而已。这跟你的群晖完全不是一个物种。

第二阶段：加内存，换思路

冷静下来之后，我开始研究到底需要什么配置。核心公式其实很简单：

模型参数量(B) × 量化精度系数 ≈ 所需内存(GB)

7B × Q4量化 ≈ 4-5GB内存

14B × Q4量化 ≈ 8-10GB内存

70B × Q4量化 ≈ 40GB+内存

看到没？7B模型是性价比甜蜜点。4-5GB内存就能跑，留给系统和NAS服务足够空间。我把群晖内存升到了16GB（淘宝买了根DDR4 SODIMM），终于能把Qwen2.5 7B加载起来了。

但问题又来了——J4125的CPU性能太弱，推理速度只有每秒2-3个token，问个问题要等一分钟才出完整答案。这体验，说实话，不如打开浏览器去搜。

Ollama安装配置

第三阶段：DIY NAS才是正解

想明白一件事：品牌NAS不是为跑AI设计的。群晖、威联通的硬件配置重点在低功耗和稳定性，CPU性能被严重阉割。

真正想让NAS跑AI流畅，有两条路：

路线A：N100/N305 DIY方案（推荐）

Intel N100/N305主板，4核/8核，主频3.4-3.8GHz

32GB DDR5内存

跑7B模型可达5-8 token/s，日常够用

整机功耗15-25W，比品牌NAS只多5W

总价2000元左右

路线B：零刻/铭凡迷你主机方案

AMD 7840HS/Intel 13代i5迷你主机

集显可加速推理（AMD ROCm/Intel OpenVINO）

跑7B模型可达15-20 token/s，体验接近在线版

总价2500-3500元

我最终选了路线A的N100方案。原因很简单：穷。但2000块的效果已经超出预期了。

真香时刻：这些场景让我觉得值了

部署好之后用了两个月，有几个场景真的让我觉得"折腾值了"：

1. 私密文档处理

公司的合同、报价单，不敢传到ChatGPT上处理。本地模型就没这个顾虑，直接把PDF丢进去让它提取关键信息、做摘要。

2. 小孩的AI家教

给Open WebUI建了个"耐心老师"的预设prompt，小孩写作业遇到不会的题直接问。比百度搜索靠谱，比直接看答案有引导性。关键是没有广告和乱七八糟的推荐。

3. 照片智能分类

配合Immich（开源相册），用多模态模型自动给照片打标签。"海边"、"生日"、"宠物"——翻照片终于不用一张张划了。

4. 半夜想法记录

以前半夜来灵感只能手机备忘录记几个关键词，第二天看完全想不起来。现在直接跟AI聊，让它帮我整理成完整的文字，第二天直接用。

性能测试对比

给想入坑的值友几句实话

NAS跑AI这件事，核心价值不在于替代ChatGPT，而在于拥有一个完全属于自己的、永远在线的AI助手。

如果你期待的是GPT-4o级别的智能水平，那本地7B模型确实达不到。但如果你需要的是一个靠谱的日常助手——80分的回答，0延迟，0费用，100%隐私——这套方案绝对值得折腾。

你的NAS还只是个下载机吗？也许是时候让它干点更聪明的活了。有问题评论区见！