2026年了，还在用云端API？我的威联通NAS+本地大模型部署实录

今天是2026年6月23日，终于把家里这台威联通TS-464C彻底变成了我的“私有AI算力中心”。看着Terminal里Ollama成功拉取并运行Qwen3-8B-Instruct的那一刻，悬着的心终于放下了。

为什么要折腾这个？现在的云端模型虽然强，但隐私顾虑和数据传输延迟始终是个痛点。既然手里有台带N5095处理器的NAS，不用来跑本地推理太浪费了。这次实战主要解决了三个核心问题，分享给想入坑的值友：

1. 系统选择的纠结： 之前一直在群晖DSM7.3和TrueNAS Scale之间犹豫。考虑到2026年原生支持Kubernetes和Docker的便利性，加上对ZFS文件系统的执念，我最终选择了TrueNAS Scale。虽然学习曲线陡峭，但在容器管理上确实比群晖更自由，尤其是在分配GPU/NPU资源给AI容器时，直通设置非常直观。

2. 内存与Swap的血泪教训： 起初我想省点电，只给了Docker 8G内存。结果跑稍微复杂点的RAG（检索增强生成）任务时，OOM（内存溢出）直接杀进程。后来狠心加了根32G DDR5，并在Docker Compose里限制了容器的显存占用，才保证了NAS作为存储服务器的稳定性不被AI任务拖垮。

3. 内网穿透与访问： 为了让手机在外面也能随时调用家里的AI，我没有用复杂的FRP，而是利用了NAS自带的Tailscale组网。配合Nginx Proxy Manager做反向代理，现在我在公司摸鱼时，也能通过浏览器流畅访问家里的WebUI界面，延迟基本在可接受范围内。

总结一下：
在NAS上部署AI，难点不在于安装软件，而在于平衡“存储稳定性”和“计算性能”。如果你也是N5095或N100这种入门级U，建议不要追求太大的参数量，7B-14B的量化模型才是甜点区。