两台拼四千亿、四台拼七千亿:迷你主机集群拼的是容量不是速度

源自111位全网作者

08:24

这周的迷你主机圈有点热闹。

10月9日,极摩客开发布会首发EVO-X5 Pro,现场展示了五机集联、总内存最高960GB的集群方案。FEVM F-AEX2、零刻GTR9 Pro的495版也相继落地,磐镭YO2已开卖。这批新机的共同点:芯片是AMD锐龙AI Max+ PRO 495,最高塞进192GB统一内存。知乎知乎哔哩哔哩

宣传口径也出奇一致——两台用一根网线连起来,就能本地跑四千亿级大模型。听起来像"拼积木拼出超算"。哔哩哔哩哔哩哔哩

两台拼四千亿、四台拼七千亿:迷你主机集群拼的是容量不是速度

但第一批拿到机器的人,已经把官方说法翻译明白了:集群拼的是容量,不是速度。

内存翻倍,速度只多了三分之一

B站UP主AIPC煜森实测了这批新机:单台跑大模型,每秒出12个字左右;两台用网线连起来,每秒大概16个字。哔哩哔哩

瓶颈就在那根网线上。万兆网口每秒传1.25GB,机器内部的内存带宽每秒273GB,差了约200倍。打个比方:两个仓库合并成了一个超大仓库,但连接它们的道路还是乡间小道——货能堆更多,卡车快不起来。哔哩哔哩

两台拼四千亿、四台拼七千亿:迷你主机集群拼的是容量不是速度

这不是孤例。海外博主Alex Ziskind连续三个月记录集群踩坑:3台迷你主机拼跑70B,跨机器推理速度不升反降。4台拼跑671B,每秒只出6个多token。哔哩哔哩哔哩哔哩

他总结的黄金法则值得打印贴墙上:拆分模型为了"容量",复制模型为了"速度"。想装下更大的模型,就得接受慢;想快,应该多台各跑各的、分流请求。哔哩哔哩

E人E本的双机级联测试也佐证:两台机器集群部署后,大模型回答的生成速度刚过每秒10个字。哔哩哔哩

两台拼四千亿、四台拼七千亿:迷你主机集群拼的是容量不是速度

再算一笔账

极摩客EVO-X5 Pro单台46999元起,两台拼起来9.4万,四台拼起来近19万。FEVM的192GB准系统标价43599元。哔哩哔哩哔哩哔哩

FEVM评测区的高赞评论说得直接:“4万多,买Token都能用几年了,而且大模型保持最新的”。另一条高赞灵魂发问:“这个价格不买两个395互联是有什么心事吗”——两台395准系统共3.6万,内存合计256GB,比单台495的192GB还多。哔哩哔哩

更关键的是,单机并不弱。至顶AI实验室测过单台EVO-X5 Pro:DeepSeek V4-Flash生成速度约每秒17个token。开启投机解码能提到约27个。单台192GB,已经能本地离线运行320B大模型。诉求只是"本地能跑大模型"的话,单机+优化比集群划算得多。哔哩哔哩知乎

那集群到底适合谁?

数据出不了内网的企业和机构,是集群的真受众。PRO版机型标配DASH带外远程管理和独立硬件加密芯片,管理子系统独立于操作系统运行。合规场景下,“慢但在本地"胜过"快但在云上”,五机拼出960GB,该拼就拼。知乎

两台拼四千亿、四台拼七千亿:迷你主机集群拼的是容量不是速度

个人想跑400B+的,先问自己能否接受每秒十几个字——那是屏幕上文字一个字一个字往外蹦的速度;四台拼700B只会更慢,官方也只说"能跑"、没报速度。同样预算,走API更理性。哔哩哔哩

动手党要玩,优先USB4/雷电直连而不是万兆网线;要卷就上vLLM+RDMA,能把通信延迟从数百微秒压到5微秒,跑出近线性加速。但那是高手的玩法,不是"插根线就能用"的默认体验。哔哩哔哩

这波192GB迷你主机是真的,集群跑超大模型也是真的,但官方没写上海报大字的是:网线拼出来的是内存容量,不是生成速度。掏钱之前,先想清楚你买的是容量,还是速度。

内容由AI生成
1
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章