把私有大模型搬进家庭机房

把私有大模型搬进家庭机房

去年把群晖DS923+塞进机柜时，我只当它是个存电影的中转站。直到试了本地部署AI，才发现这台小铁盒才是真正的"家庭大脑"。

硬件门槛没想象中高。我给DS923+加了条16G内存，配了块Intel Arc A380独立显卡做解码加速——总价不到两千，却能跑通7B参数的大模型。关键在存储架构：系统装在SSD里负责模型加载，机械盘组RAID 5存训练数据和向量库，读写互不抢道。

软件栈踩坑最多。Container Manager里跑Ollama是最省心的方案，一条

"docker-compose.yml"拉起qwen2.5:7b-instruct。但别直接用官方镜像——群晖的ARM架构兼容性坑不少，得选社区维护的ollama-arm64版本。OpenWebUI作为前端面板，配上LocalAI做语音转文字，整套对话系统半小时就能上线。

真正有价值的是数据闭环。我用Immich管理全家照片，配合Clip模型做语义检索——搜"去年海边日落"比翻相册快十倍。Home Assistant接入后，NAS上的大模型直接读传感器数据，写自动化脚本不用再啃YAML文档，跟它说"晚上十点后关掉所有灯"就自动生成配置。

隐私收益是隐形的。孩子作业辅导、财务表格分析这些敏感场景，数据全程不出局域网。实测Qwen2.5-7B处理Excel公式纠错，响应速度比云端API还稳，毕竟不用排队等令牌。

当然也有局限。32B以上模型跑不动，视频推理还得靠外挂NUC。但作为家庭级AI中枢，NAS的优势不在算力巅峰，而在"always online"——24小时待命的私人助手，这才是本地部署最爽的地方。