什么值得买App下载 App ›
连续签到专享现金活动

3.4万的英伟达AI盒子:装得下5090装不下的模型,吐字却慢一截

昨晚十点,英伟达把三台巴掌大的盒子挂上了京东:华硕 ProArt GR1X、微星 Edge Mesa N AI+、机械革命大师之路 X10。微博知乎

3.4万的英伟达AI盒子:装得下5090装不下的模型,吐字却慢一截

价格不算客气:华硕 64GB+2TB 卖 34999 元,微星 64GB+1TB 卖 33999 元,128GB 顶配分别要 54999 元和 56999 元。这笔钱换来的是一台 150×150×51 毫米、裸机 1.48 公斤的小盒子。整机功耗上限 140W。它最高配 128GB 统一内存,英伟达给的官方口径是 AI 算力最高可达 1 Petaflop、支持本地运行 1200 亿参数大语言模型。这句话没骗人。但它只说了上半句。微博知乎微博财联社知乎

装得下,不等于跑得快

RTX Spark 用的 N1X 超级芯片,是 20 核 Grace CPU(联发科与英伟达联合定制、台积电 3nm)加一颗 6144 CUDA 核心的 Blackwell GPU。账面很顶。知乎

3.4万的英伟达AI盒子:装得下5090装不下的模型,吐字却慢一截

短板藏在带宽里。华硕官方资料给的峰值带宽是 300 GB/s。而且这 300 GB/s 只有 GPU 能吃满,CPU 因为内部总线约束只能拿到一半。大模型推理是搬运工的活儿:每吐一个字,都要把权重从内存里搬一遍。仓库再大,通道太窄,机器就吃不饱。知乎知乎

所以它跟 RTX 5090 不是谁替代谁。楠爷拿它把一段 15 秒的 720p 视频超分到 1440p,耗时 4.3 小时,峰值显存占用超过 70GB——这个门槛直接把 32GB 的 5090 挡在门外。5090 接不了这种活,Spark 接得了,但 15 秒视频磨 4.3 小时,这速度你自己品。知乎

三篇首发实测,数字对上了

微型计算机用 128GB 版 GR1X 跑 Qwen3.8-Flash-Next(176B、4bit 量化),168 轮智能体任务全跑通,Prefill 44.64 token/s、解码 27.9 token/s;换成稠密的 Qwen3.8-27B,Prefill 50.86、解码 35.36 token/s。知乎

3.4万的英伟达AI盒子:装得下5090装不下的模型,吐字却慢一截

Edison Chen 换 TensorFold 引擎跑 27B 的 MLX 4bit 版,单流解码 64.8 token/s,四路并发合计 209 token/s,32K 上下文的 Prefill 冲到 1867 token/s。比同平台的笔记本快 24%,靠的是桌面机箱更宽裕的散热。知乎

Huden Jear 手上是 64GB 版:gpt-oss-20b 跑 69.8 tok/s,因为它是 MoE;qwen3.8-27b 只有 23.5 到 27.5 tok/s,“全稠密的参数,所以速度上会慢一截”。三组数字摆在一起,结论很清楚:MoE 是它的主场,稠密模型是它的软肋。同一台机器、同一个 27B 模型,换引擎换量化格式,解码速度能从 35.36 变成 64.8 token/s——你买的不只是硬件,还有一份折腾成本。27 token/s 大概是每秒十来个汉字,能读,但不爽。知乎

四个得先知道的坑

一,128GB 不等于 128GB 可用。NVIDIA App 里最多划 96GB 给 GPU,任务管理器实际看到 112GB。加载 70GB 级权重时 Windows 还会报内存不足,得手动把虚拟内存设成 128GB。这些都是开箱第一天会撞上的事。知乎知乎

二,它跑的是 Windows 11 on ARM。为 x86 开发的游戏无法直接运行,英伟达还在跟 EA、动视、Riot、Krafton 一家家谈原生适配。换句话说,能原生跑的游戏清单还不长。IT时代网

三,接口极简:4 个 USB-C 20Gbps、1 个 HDMI 2.1、1 个万兆网口。一个 USB-A 都没有,也没有原生 DP。接个 U 盘都得先找转接头。微博知乎

四,它和去年那台 DGX Spark 是同一颗芯片:GB10 改名 N1X,带宽从 273 提到 300 GB/s,系统从 Linux 换成 Windows,代价是砍掉了那颗 200Gbps 的 ConnectX-7 网卡。想两台并联扩容,这道坎得自己填。知乎知乎

那谁该掏这 3.4 万

英伟达自己算过一笔账:本地跑 Qwen3.8-Flash-Next,每月产出 6100 万 token,电费约 20 美元;同样的量走云端 API,约 1200 美元。这笔账成立的前提是——你真能每个月烧掉 6100 万 token。知乎知乎

该买的人画像很具体:Agent 要 7×24 常驻的,批量离线跑文本和图像的,合同财报这类数据死活不能出域的,以及被 API 账单绑住手脚、不敢做 A/B 测试的小团队。英伟达给这类人的说法是,本地跑模型不必再为每一次请求支付云端费用,而且输入输出全部留在本地、数据不出域。整机最高 140W TDP、支持全天候运行,一升出头的体积扔在工位底下常年不关机,塔式旗舰显卡给不了这种形态。知乎知乎

3.4万的英伟达AI盒子:装得下5090装不下的模型,吐字却慢一截

不该买的人也很具体:想打游戏的,想要实时聊天体验的,以及只是“想试试本地 AI”的。微型计算机在上海体验会实录里也承认,这个平台 2699 美元起的定价“注定先落在专业用户与重度玩家手里”。对大多数人来说,云订阅眼下仍然是更便宜的那条路。知乎

最后一个背景数字:英伟达已经把这条产品线并进“边缘计算”部门,上季度该业务营收 82 亿美元,同比增长 42%。在这份财报里,它是少数还在加速的业务。东方财富网

3.4 万买不买,取决于你要的是速度,还是一个“不限量”。

评论

评论区空态插画

当前文章无评论,是时候发表评论了