一套无需公有云、不上传数据、不依赖高端显卡的本地AI系统已可稳定落地。它用现有硬件实现文档级RAG检索、毫秒级知识更新与企业级隐私保障，为中小团队和知识工作者提供可复用的技术范式。
智能速览
采用存算分离架构：群晖NAS负责存储与前端交互，Mac mini承担模型推理核心任务
实测7B/14B模型在Mac mini上推理延迟低于800ms，功耗仅为同性能PC方案的35%
Open WebUI直连本地Ollama服务，RAG向量化处理全部在内网闭环完成
通过Docker部署+内网IP绑定，实现NAS与Mac mini间零配置协同
同步目录功能使10万字文档库支持自然语言问答，平均响应时间2.3秒
物理路径毫秒级监听机制确保新增文件入库后1.2秒内完成向量嵌入与索引
精华内容
这套方案的价值不在技术炫技，而在于将大模型能力真正锚定在用户自己的数据资产上——文档不用导出、知识不用上传、权限不必让渡。
架构设计
系统采用明确的存算分离逻辑：群晖DS923+作为存储中枢，运行Docker版Open WebUI并托管全部私有文档；Mac mini M2（16GB统一内存）作为算力节点，通过Ollama加载Qwen2-7B-Instruct与Phi-3-mini等轻量化模型。两者通过千兆内网直连，OLLAMA_BASE_URL指向Mac mini本地API地址，避免任何公网中转或认证跳转。
网络层全程走静态IP+防火墙白名单，无端口暴露。Open WebUI配置中禁用所有远程日志上报选项，确保交互行为完全本地化。
该设计规避了单机部署时内存带宽瓶颈，也绕开了NAS端GPU算力缺失的限制，形成软硬解耦的可持续演进结构。
RAG落地效果
实测将32份PDF格式工作手册（总计87,400字）导入Open WebUI同步目录后，系统自动完成分块、嵌入、索引全流程。首次查询‘项目验收流程涉及哪些签字节点’，返回结果包含3个精准段落引用，响应耗时2.28秒，准确率经人工核验达94%。
对比未启用RAG的纯模型问答，相同问题下幻觉率下降67%，关键信息遗漏率从31%降至2%。
向量数据库采用ChromaDB轻量实例，索引体积仅占原始文档大小的1.8倍，且支持增量更新——单次新增1页Word文档后，向量化与索引重建耗时1.17秒，实测误差率<0.03%。
能效与成本
Mac mini M2空载功耗为6.3W，运行Qwen2-7B推理时峰值功耗28.4W，整机满载温度控制在58℃以内；同等推理负载下，RTX 4070台式机方案功耗为112W，散热噪音高出17dB(A)。
按每日8小时使用计算，Mac mini年电费约23元，较PC方案节省146元。硬件复用方面，群晖与Mac mini均为已有设备，零新增采购成本。
模型切换测试显示：Phi-3-mini（3.8B）平均token生成速度达24.6 token/s，Qwen2-7B为11.3 token/s，均满足实时对话交互需求，无需等待超2秒。
这不仅是NAS与Mac的一次组合尝试，更是本地化AI生产力落地的关键验证。当知识管理从‘手动搜索文件夹’迈向‘自然语言即时调取’，真正的办公效率拐点已经出现。未来，这类轻量私有AI能否成为数字办公基础设施？它又该如何适配更多非技术背景的使用者？这些问题的答案，正在一个个家庭书房和创业办公室里被持续书写。
