从零到一，我在家里搭了个离线AI实验室

很多人听说我在家里跑本地大模型，第一反应是"你家电费不得爆炸"。实际上整个过程远没有那么夸张，但也绝不像网上教程写的那样一键搞定。我的起点很朴素：一台闲置的Intel NUC，两块拆下来的旧硬盘，一个"能不能让AI在我断网的时候也能干活"的好奇心。

最初试的是在Windows上直接装Ollama跑llama3:8b，结果内存占用直接飙到90%，风扇嗡嗡响得像起飞。后来换成Ubuntu Server + Docker部署，资源占用立刻降了一截，但新问题来了：模型加载慢、推理速度只有十几tokens每秒，聊个天像在拨号上网。

这时候硬件瓶颈就藏不住了。我开始认真研究怎么在不砸太多钱的前提下提升体验。先是换了台绿联DX4600 Pro当存储中枢——它自带的Docker管理器让我不用再跟命令行死磕，界面点几下就能拉镜像、配端口，省下来的精力全花在调模型参数上。真正让推理速度质变的还是算力端的升级，后来入了一台AMD Ryzen 7 7840HS的迷你主机当专职AI节点，核显跑7B模型能到四十多tokens每秒，安静得放在床头都察觉不到，功耗还低得离谱。

打通流程之后，能玩的东西一下子多了。离线知识库、本地文档摘要、HomeAssistant联动自动化……每加一个新服务就像解锁一个关卡。最爽的不是功能本身，而是你知道这一切跑在你自己的硬件上，数据不出家门，不用看任何云服务的脸色。

如果你也想试试，我的建议是先从轻量开始——别一上来就想着跑70B模型。7B够用了，先把链路跑通，再慢慢迭代硬件。这条路没有终点，但每一步都是自己的。