什么值得买App下载 App ›
连续签到专享现金活动

内存焊死的迷你主机跑大模型,AI SSD只解决了一半问题

内存焊死的迷你主机跑大模型,AI SSD只解决了一半问题

迷你主机用户最近有两件糟心事:内存焊死,加不了;内存涨价,加不起。今年8月就有渠道把16GB DDR5笔记本内存报到1500元,一台32GB的机器,光内存就抵得上半台整机。知乎

所以11月19日机械革命那场发布会上,让人坐直的不是32999元起的RTX Spark小盒子,而是顺手发的一块盘——AI SSD。官方口径:同样4-bit精度,本地可跑模型从35B提到397B,总耗时减少约57%;现场一台32GB内存的轻薄本跑35B模型,换盘后首响应从14秒多缩到2秒多。微博知乎微博

内存加不动,那就拿硬盘顶。听着像耍赖,但这条路今年真落地了。

内存焊死的迷你主机跑大模型,AI SSD只解决了一半问题

AI SSD不是"更快的固态"

普通SSD在推理里就是个仓库,权重加载完它就闲着。AI SSD要做的是把自己塞进内存层级:群联的aiDAPTIV+方案把高耐久NAND纳入"系统可用内存",权重和KV Cache分层放盘上按需调用,MoE模型里不常用的冷专家直接卸到闪存。今年6月,群联还和英特尔把这套内存延伸技术导入了AI PC平台。知乎微博哔哩哔哩微博

它必须配软件。牧马人(Herdsman)这类本地推理引擎负责调度,盘只是执行者。哔哩哔哩

形态已经分出三种:主板上的专用小盘,雷神AI Master M7000配的是"768GB+85GB AI SSD",端侧跑120B,卖1.99万元;外接盒子,Nextorage和OWC Stack AI都走外置aiDAPTIV,目标是让32GB内存跑GPT-OSS-120B;还有拓展坞直连,没有空闲M.2 2280插槽也能接,代价是带宽打折。微博微博微博哔哩哔哩

对迷你主机来说,最后一条最要命——机身小,盘位常常只有一个。

内存焊死的迷你主机跑大模型,AI SSD只解决了一半问题

它救得了的那一半:等首字

一份公开自测把差距量化了:同一台机器、同一个模型、同一份输入,只切一个存储加速开关。70B模型32K输入,首字从259秒变1.1秒;120B从269秒变2.3秒。哔哩哔哩

这对迷你主机用户很实在。以前问一句长文档,机器先沉默四分钟,你会怀疑它死机;现在两秒开口。极摩客EVO-T2S这类机型已经把aiDAPTIV+写进卖点:板载64GB LPDDR5X、双M.2盘位、首发9999元,卖的就是这个体验。微博

它救不了的那一半:出字

同一份自测里还有行容易被跳过的数据:120B的出字速度,从13.28字/秒变成13.88字/秒。几乎没动。哔哩哔哩

原因不复杂。首字慢是数据搬不过来,出字慢是内存带宽喂不满——逐字生成时每吐一个token都要把权重过一遍,靠的是LPDDR5X那点带宽,盘再快也插不上手。

所以"能跑397B"翻译成人话是:装得下、开得了口,不代表答得流畅。想出字快,还得回去看内存容量和通道数。这也是为什么128GB统一内存的机器敢卖高价:机械革命大师之路X10,64GB+1TB是32999元,128GB+2TB直接49999元。知乎微博

现在能做的三件事

先分清慢在哪。等首字慢,是存储的事;出字慢,先去看内存是不是单条插法,双通道能白捡一截带宽。

有空闲M.2再谈AI SSD。没盘位就走外接,但得认接口:USB4、雷电4的实际带宽远低于直连PCIe 5.0,长上下文场景打折明显。

内存焊死的迷你主机跑大模型,AI SSD只解决了一半问题

不想花钱也有半套解法。软件分层缓存已经能救不少,比如oMLX把冷KV缓存落到SSD、重启还能复用,长上下文首响应从30~90秒压到5秒内,Mac平台,GitHub两万多星。哔哩哔哩

冷静一点

眼下拿得出手的数据,大多是厂商现场演示和单人自测,缺第三方横评。AI SSD也不是万能钥匙:模型本来就装得进内存、上下文又短的场景,换盘几乎无感。知乎

行情也在松动。过去一年固态硬盘合约价涨了约三倍,但近一个月NAND现货价回落约20%,512GB晶圆环比降三成。急着上车的,先算清自己缺的是容量还是带宽;不缺的,等价格比等评测更划算。哔哩哔哩微博

评论

评论区空态插画

当前文章无评论,是时候发表评论了