什么值得买App下载 App ›
连续签到专享现金活动

NAS搞AI助理最烧钱的不是模型,是内存

NAS搞AI助理最烧钱的不是模型,是内存

最近知乎上"NAS/软路由 AI助理"这条线彻底热闹了:极客们不愿为AI单独加钱,第一反应是把家里常年开机的工控机和NAS拽出来,让它们上岗当AI员工。

最出圈的是青峰聊架构的搭法:用家里一直开着的工控机跑智能助理,NAS放资料和成果物,大模型走API。知乎

他给这套方案的定性很干脆:在已有设备和网络的前提下,新增开支只有模型调用费。知乎

NAS搞AI助理最烧钱的不是模型,是内存

但不少人跟着教程冲进了第二个坑:往NAS里塞本地大模型,然后发现16GB内存根本不够用。

坑一:模型文件只是地板,运行时才是大头。 王中阳拆过这笔账。装得下 ≠ 跑得动,做Agent多轮对话时,进程内存比模型文件大出数倍是常态。知乎

NAS搞AI助理最烧钱的不是模型,是内存

坑二:没显存,堆内存也白搭。 九幽三三先纠了个常见误区。推理瓶颈是GPU、显存、内存带宽,NAS的核显和老平台恰恰三样都不占。知乎

NAS搞AI助理最烧钱的不是模型,是内存

坑三,也是致命的一条:现在升级内存,加的是史上最贵的内存。 算力之光引德国硬件网站3DCenter的11月统计:一套2×48GB的DDR5-6400,从2025年7月的304欧元涨到2779欧元,折合人民币约2万元。硬派偏执狂给的柜台价更直观。搁去年,加内存是200块的动手活;今年,它是3000块的肉疼活。知乎知乎

所以正确姿势就一句话:智能走云端,编排留本地。 家里设备负责协调任务、管数据,AI核心其实并不走本地。相册打标签、监控识别这类数据不出门的轻量活,才值得考虑本地小模型,动手前先算内存账。知乎知乎

反过来,硬要全量本地部署的账更吓人。与其花大钱堆硬件,不如先把现成的算力和存储榨干。知乎

说到底,NAS当AI助理的意义不是"能聊天",而是把折腾多年、眼看要吃灰的设备盘活了——用林大路的话说,这叫回血。先让Agent跑起来,跑满一个月你还真想本地推理,再考虑加内存不迟。知乎

NAS搞AI助理最烧钱的不是模型,是内存

评论

评论区空态插画

当前文章无评论,是时候发表评论了