这周B站本地大模型区被两条帖子吵起来了。一条是四张矿潮老卡CMP 170HX插在X99双路至强加DDR3内存的"垃圾机"上,把DeepSeek V4.1-Flash-1017的官方原版满血权重跑出单流47.84–58.65 token/s。另一条是5万块的8×RTX 3080 20G魔改服务器,装同一个510GB权重,纯decode只有16–17 token/s。哔哩哔哩哔哩哔哩
评论区吵点很直接,高赞自报行情四张卡四万往上,评价为"不如DGX"。反方口径也现成:一台DGX Spark装不下510GB,得四台组网才行。哔哩哔哩
这篇只服务一个人群:手上握着4万上下预算、单卡量化党玩腻了、准备第一次上"满血大权重"、正在魔改二手、DGX小盒子、统一内存新机之间犹豫的人。你已经知道显存怎么算账,这里不再补课,只对三本账:门票、带宽、交活。
第一本账:门票——4万预算现在能买到的六张价签
先把本周能查到的价格排开(均为公开自报口径,行情价以你砍到为止):
路线 | 价签 | 能不能直接装510GB满血 |
|---|---|---|
4×CMP 170HX(4×64GB显存) | 评论区行情"四万往上",有人自称2万拿的 | 能:GPU+CPU+SSD协同,权重分着装 |
8×RTX 3080 20G魔改整机(含平台) | “5万块” | 能:510GB官方原版全量上机 |
英伟达"算力舱" | 目前报价43999 | 两台跑GLM-5.3-Flash 69t/s、1M上下文 |
DGX Spark 128GB | 9月现货价33550,10月渠道口径4.5万;128GB版官方已涨到6950美元 | 单机装不下,四台QSFP环连才池化出512GB |
192GB统一内存小主机(极摩客EVO-X5 Pro等) | 46999起 | 装不下:官方实测口径是320B@14.57t/s、122B@31t/s档 |
RTX Spark整机/笔记本 | 笔记本21988(24GB)–48388(128GB),桌面款37999 | 128GB版同DGX Spark逻辑,单机装不下满血 |
变量有两个:64GB版DGX Spark已定档,GB10沿用DGX OS和英伟达AI软件栈,合作伙伴产品10月23日上市、起价4999美元。同时128GB Founders Edition已被上调至6950美元,涨价归因是内存供应受限和成本上升。知乎知乎
还有一个容易被口径绕晕的细节:这台模型到底多少参数,社区的账还没对平,8×3080机的UP主自己就在算763B还是748B这笔账。哔哩哔哩
各家唯一吵不动的门票数字是510GB:八卡机写的是"510GB全量,非社区量化",四台DGX Spark集群的报道写的是MXFP4量化后约510GB。判断"能不能装",请只认这个数,别拿参数名吵架。哔哩哔哩知乎
第二本账:带宽——为什么垃圾机比5万八卡机快三倍
这是本篇最值得抄走的一张表,因为两位UP把自己的口径都写全了。
170HX垃圾机:四张170HX加X99双路至强加DDR3,完整权重、不跳过专家、未额外量化,GPU、CPU与SSD协同推理;起点是6.5 t/s,调到单流持续decode 47.84–58.65(3000-token样本区间);八路聚合91.28–116.96,注意这是总和不是单流。改动做过1188次逐位一致校验,一次"更快"的新方案两次测出51.5,没跑赢原版51.2/55.1,当场回滚。哔哩哔哩
UP自己在章节表里列了三个坑:算力不少但"连接并不理想"(PCIe拓扑)、“大模型要分着装”、“慢的可能是等待”(执行过程录图、单流与总和分开算)。调机仓库已公开(LocalFrameLab/deepseek-v41-cmp170hx-x99)。
8×3080魔改机:双路Xeon 8269CY加768GB DDR4-2133,纯decode 16–17 t/s,UP主和评论区共同归因到DDR4带宽墙;prefill峰值446 t/s@8K、290 t/s@128K,128K上下文常驻,温度≤77°C。
还有个反常识细节:官方DSpark加速开关在这台机器上是负优化,开启掉六成,评论区提醒别照抄。哔哩哔哩
把两台机器放一起,结论不是"垃圾机吊打5万机",而是一个更值钱的规律:满血MoE的decode速度,取决于每个token的活跃专家住在什么芯片上。170HX路线把权重分着放,热的那部分留在显存级芯片里,冷表格走SSD——四台DGX Spark集群是同一思路的官方化样本,该集群不经过交换机,用QSFP线缆以环形拓扑直连,每台128GB统一内存、带宽约273GB/s,四台池化出约512GB。知乎
它的速度账也在同一篇里:203GB的Engram表放NVMe、GPU常驻压缩到约305GB之后,单流代码任务峰值77.2 tok/s、暖机后稳定72,32路聚合494 tok/s,首token延迟0.27秒。而八卡机把510GB的绝大部分留在DDR4里,每吐一个token都要过一遍带宽墙,16–17 t/s就是墙价。知乎
必须把证据强度说到位:以上三台都是各自自报,没有第三方复现。170HX那条视频播放量一千出头,简介里明确标注画面是程序绘制的硬件示意与数据动画,不是实际设备摄影。所以"DDR3也能50t/s"目前只证明了"这套配置能输出这个口径",没证明"你买回去能复现"——单流80t/s,连UP自己都说仍然是下一站。哔哩哔哩
第三本账:交活——这台机器到底能不能干活
速度对上场景才算账:
慢对话、长文、验收式干活:满血单流50t/s够跟人聊。但170HX机评论区高赞的总结很清醒:四张卡按现在行情四万往上,抄作业前先想清这台机器只适合慢慢算账。哔哩哔哩
编程Agent、长文档RAG:这是本地路线共同的坑。192GB新机评论区那条被顶上来的长算账说透了:统一内存设备输入普遍只有1.5K–2.5K token/s,云端API过万是常态,编程agent跑起来是300:1的输入输出比,云端8小时的活本地要一两天。这个瓶颈同样打在两台工作台上,而且八卡机16–17t/s的decode只会更难受。哔哩哔哩
隐性成本:两个帖子都没公开整机功耗、噪音和二手卡返修情况——双路至强加4到8张卡全天开机的电表账单、机房级噪音,得加在你那"四万"后面。更狠的替代方案也在同一个评论区:“这价钱都可以买两台395了”,以及E5双路加一千块服务器DDR3内存、显卡随便买两张P40或V100的低配路线。
同一评论区的另一面:有人贴出"省流46999起"就给192GB新机定了性,也有回帖说这套e5双路+DDR3加P40或V100的捡垃圾方案一千块内存就够——两派说的其实是同一件事:满血门票的定价权正在从新机回到旧货。2万档的玩具路线也在这张账本里。
对号入座:四种人,四条路
已经有X99/E5平台、愿意折腾、把开源仓库当教程的:170HX路线值得试,UP把调机方法和结果都公开在了仓库里;先复现单流47–58的口径,再谈提速。哔哩哔哩
要的是"128K满血常驻"而不是吐字快:8×3080的数字正好是这个场景,prefill 290–446 t/s是它的长板,decode 16–17 t/s是它的价格。哔哩哔哩
不想折腾、买完就用、能接受多机组网:盯10月23日的64GB DGX Spark,4999美元若成立,"四台集群"的门票将从约16万档下探。在那之前,现货128GB的账是9月涨到33550元、10月渠道报价45000元全新原厂货——只配当组网节点,不配当单机方案。知乎知乎
看到"本地跑大模型"就想要安静、保修、一步到位的:RTX Spark和192GB新机卖的是体验和兜底,不是满血门票——装不下510GB就别按满血预算它,这价位段知乎那句反调留着当参考:与其买RTX Spark笔记本,不如直接买一个花瓶放家里玩。而395这一代统一内存机已经凉到被调侃"AI MAX395成为发达国家了",46999起的192GB新机正踩在两代产品的中间。知乎知乎
继续盯四个信号
①170HX仓库有没有第三方复现单流50——没有之前,它仍是孤例;②社区404GB/60GB量化版交活质量何时追上原版(同权重不同版的身份问题上周刚吵完);③64GB Spark上市后128GB现货会不会从4万+回落;④RTX Spark的Windows-on-ARM适配是否追平DGX的定制Linux——已有DGX Spark用户直言当前Windows适配不如Linux,同样的模型性能大概率不如DGX Spark。知乎
最后立个反面提醒:这两条帖子最大的共同点不是快或慢,而是都把自己"没站住"的数字写在了简介里——回滚记录、单流与总分的区分、“80仍然是下一站”。抄作业前先学会看口径,再看数字。