RTX Spark桌面主机开卖:120B跑得比9B还快

源自135位全网作者

16:30

11月18日起,海外首批搭载RTX Spark芯片的小型桌面主机陆续开卖,机械革命的大师之路X10也定在11月19日发布。这颗10月才跟着笔记本铺货的芯片,现在变成了桌上的小盒子,本地推理玩家盯得最紧的参数是统一内存:最高128GB。知乎知乎

RTX Spark桌面主机开卖:120B跑得比9B还快

但第一个值得注意的事实挺反直觉。同一平台的LMStudio测试里,120B参数的gpt-oss-120b跑出55.9到56.4 tokens/s,9B稠密模型只有42.5到44.4。大模型比小模型快,原因不在120B被特别优化,而是9B已经顶到了自己的天花板。知乎

RTX Spark桌面主机开卖:120B跑得比9B还快

天花板在带宽。RTX Spark N1X是英伟达和联发科合作的SoC:20核Grace CPU、6144个CUDA核心,没有独立显存,CPU和GPU共用一块LPDDR5X内存池,稳定带宽273.2GB/s,容量最高128GB,驱动侧最多可划96GB给GPU当显存;桌面版RTX 5070同样有6144个核心,带宽672GB/s,显存却只有12GB。两者的定位差异就一句话:拿容量换带宽。知乎

模型每生成一个token都要重新搬运一遍权重,速度约等于带宽除以单次搬运量:9B稠密模型每token搬运约5.6GB,实测44.4已接近上限;MoE模型每token只激活5.1B参数,MXFP4量化下搬运约2.1GB,120B反而能跑到55以上;反过来,70B稠密模型每token要搬约35GB,天花板不到8 tokens/s。装得下和跑得动是两件事:MoE是甜点位,大参数稠密是坑位。知乎

RTX Spark桌面主机开卖:120B跑得比9B还快

价格也摆得很明:联想YOGA Pro 15的64GB+1TB版29999元起,128GB+2TB版42999元;华硕ProArt创16的128GB版首发到手39999元,国补后38499元。同样四万块能买到5090游戏本,游戏帧率约为它两倍,但24GB显存连120B的权重都装不进去。知乎

RTX Spark桌面主机开卖:120B跑得比9B还快

实测则说明它伺候的是哪一档。电脑报11月的测试里,创16按64GB+64GB分配加载Qwen3.8-27B,跑168轮智能体测试平均33 tokens/s,首字延迟1247毫秒。27B这个量级,它已经算生产可用。知乎

RTX Spark桌面主机开卖:120B跑得比9B还快

反对的声音同样具体。知乎一篇讨论RTX Spark笔记本实际表现的回答直言:与其买它,不如买个花瓶放家里,理由是贵、性能一般、ARM生态软件适配差。B站装机猿聊起老黄走了RTX Spark还坚持不坚持发展,判断是创始人敢连赔三五年,换成职业经理人第三年就可能砍。两类声音共同的底子:算力只相当于移动版5070,价格却是它的三四倍。知乎哔哩哔哩

对本地推理用户,判断可以按两种场景收口。日常27B、32B够用,独显本更便宜更快,不必掺和;确实需要百B级MoE常驻跑智能体、且数据不出机器,这类主机目前才算得上少数"装得下又跑得动"的现货方案。溢价值不值,你要跑的那个模型已经替你答了一半。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章