旧群晖保姆级Ollama离线大模型搭建教程

前言

很多人觉得NAS只是存照片、存文件的硬盘盒子，直到我折腾完本地AI大模型才发现，闲置NAS完全能变身私人离线AI服务器，不用付费云端、不用上传隐私数据，本地就能跑问答、总结、绘图模型。本文全程保姆级操作，踩过外网访问、Docker显存调度无数大坑，完整避坑指南分享给值友。

一、前期硬件与系统准备

我的设备是群晖DS920+，四盘位标配，Intel J4125四核心处理器、8G内存。这里划重点：跑本地AI内存最低6G起步，4G内存基本会频繁卡顿闪退，预算充足直接扩容16G更丝滑。

系统版本要求DSM7.2及以上，新版Docker套件兼容性大幅提升，老版本会出现镜像拉取失败、端口冲突问题，第一步先在控制面板把系统更新到最新。

硬件避坑提醒：ARM架构入门级NAS（如群晖DS224j、威联通入门款）不推荐跑Ollama，CPU算力不足，加载7B模型就要十几分钟，日常交互延迟拉满；Intel x86架构机型才是部署AI的最优解。

二、Docker套件安装与环境配置

1. 群晖套件中心搜索「Docker」一键安装，打开注册表，把镜像下载地区切换为国内镜像源，否则拉取Ollama镜像大概率超时失败。

​

2. 新建容器，高级设置里开启「高权限执行」，存储空间给容器分配50GB以上，大模型文件单个就有4-8GB，多存几个模型极易占满空间。

​

3. 端口映射关键坑：本地端口11434绑定容器端口11434，很多人外网打不开就是漏做端口转发；资源限制处，CPU上限拉满，内存最低分配6G，否则加载模型直接OOM崩溃。

三、Ollama部署+离线大模型本地运行

容器启动成功后，打开SSH工具连接NAS，输入命令拉取主流7B参数通用模型：

ollama pull qwen:7b

等待镜像下载完成，输入 ollama run qwen:7b 即可本地对话。

实测场景：本地整理文档自动总结、私人知识库问答、写装机配置文案，所有数据全部存储在本地硬盘，不存在隐私上传云端泄露风险。

拓展玩法：搭配Open WebUI可视化网页面板，手机、电脑、平板局域网内都能访问AI界面，操作界面和ChatGPT几乎一致，新手零门槛上手。

四、血泪复盘：外网访问踩坑全避坑

折腾整整三天才打通外网远程访问，三大高频坑一次性说清：

1. 光猫默认桥接模式没改：运营商默认路由模式无法端口转发，致电客服改桥接，路由器拨号才能正常映射端口；

​

2. DDNS动态域名失效：公网IP会定期更换，群晖自带DDNS搭配证书自动续期，关闭路由器防火墙针对11434端口拦截；

​

3. 安全隐患提醒：不要直接裸端口暴露外网，必须配置HTTPS证书+账号密码登录，防止他人暴力访问占用算力。

五、低成本平替方案：300元旧笔记本改造轻量NAS+AI

预算有限不用买成品NAS，闲鱼淘300元老旧酷睿i5笔记本，加装2T二手硬盘，刷OpenMediaVault系统，同样Docker部署Ollama。

优势：功耗日常20W以内，闲置笔记本不用吃灰；短板无硬件RAID，重要文件建议双硬盘备份，适合学生党、租房低成本试水本地AI。

结尾总结

NAS+本地AI早已不是发烧友专属玩法，不管千元成品NAS还是百元废旧电脑改造，都能搭建属于自己的离线私人AI。不用依赖付费云平台，文件、对话记录全部本地存储，兼顾私有存储与人工智能，文中所有踩坑点都是亲身实操总结，跟着步骤走基本一次部署成功。