美东时间11月5日，英伟达发布博客，详解一套"内存架构"：不是发新卡，而是把GPU、CPU、网络、存储和软件协同设计成一个整体，让同样的内存装下更多任务。在其披露的SemiAnalysis AgentX基准中，智能体类工作负载下GB300 NVL72相较H200平台的每美元推理吞吐量最高达10倍，下一代Vera Rubin NVL72还能在此之上再提升最高30倍，而单颗GPU的HBM容量只增加约3%。对普通人来说，更先感知的不是显卡降价：这个双11，Token已经摆上电商货架，AI服务正走向"按量囤货、大促打折"；而英伟达想解开的内存供应紧张，反而正在把消费级显卡价格往上推。东方财富网
先把标题里的"10倍"钉准。热文中的"新架构"，指的是这套全栈内存协同设计和它背后的Rubin平台，不是本周刚发布的某款芯片；GB300 NVL72属于现役Blackwell Ultra一代。两个倍数也有前提：在每位用户每秒100个Token的服务速度下，GB300 NVL72对H200每美元吞吐量最高10倍；在每位用户每秒125个Token的服务速度下，Vera Rubin NVL72对GB300 NVL72最高30倍。而且比较对象是"机架"——72颗GPU作为一个整体。部分结果还是英伟达自测、等待第三方审核。它跟某一台手机的反应速度无关，决定的是同样一度电、同样一份钱，云端AI工厂能产出多少Token。知乎知乎
为什么重点从算力挪到了内存
模型规模、上下文长度和智能体应用持续扩张，GPU内存压力上升，HBM供应趋紧、价格上涨。最费内存的是智能体：它要边推理边调用工具边等外部结果，攒下来的"过程记忆"（KV Cache）越滚越大，英伟达称部分智能体任务的处理上下文规模已达300万Token；而HBM恰恰是AI工厂里速度最快、成本最高、供应最受限制的层级，英伟达把它比作仓库、把内存带宽比作装卸码头——仓库再大，装卸跟不上，吞吐量也上不去。值得注意的是发布时机：这篇技术文章发布当天，市场正集中重估AI基础设施投资的回报周期，"每美元吞吐量"正是英伟达给出的效率回应。东方财富网知乎
做法上，这套设计是把不同数据赶到最合适的存储层：用NVFP4低精度格式压缩模型权重和KV Cache；用NVLink把模型权重摊到最多72颗GPU上，单卡只存一部分；Vera CPU用大容量LPDDR内存暂存不活跃的上下文；Dynamo推理软件再把暂时闲置的KV Cache卸载到跨服务器共享的CMX上下文存储平台，检索用的向量索引同样移出GPU，把最贵的HBM留给实际推理。一句话：让每份字节多做点事，单Token成本随之下降。知乎
便宜的AI，已经在货架上了
云端成本的变化，最先落在价格和额度上。今年双11，Token作为独立品类首次摆上淘宝、京东的货架，京东"Token"关键词搜索量环比提升超7倍。李佳琦直播间里首次上架的千问办公Token商品半小时卖出近10万份、对应算力额度超2万亿；智谱、MiniMax、阿里云等厂商同日在天猫推出5折月卡，京东还上线了"买电脑送Token"。算力第一次用消费品的语言定价，底气正是推理成本的快速下探。知乎知乎
第二层变化在能力上。上下文和知识库数据不再全挤在最贵的内存里，长文档处理、企业检索的边际成本持续下降，App里AI客服和知识库问答"问多了就忘、长文又慢又贵"的场景会慢慢缓解。端侧也在跟上：英伟达开源的Nemotron Bolt已把74B参数模型压进24GB显存包络，一张消费级显卡就能跑起够用的智能体。知乎
感受不到的，和反而涨价的
单价降不等于账单降。智能体替你干活时的Token消耗远大于聊天，腾讯本月还把员工AI额度从月均上万下调至千元级别。价格再便宜，“Token焦虑"依然存在——对普通人来说，这轮红利更可能表现为"免费额度变多、同样的钱解锁更强模型”，而不是订阅页面直接砍价。知乎
硬件侧甚至是反面：英伟达要缓解的HBM紧缺，已经传导到消费显卡。英伟达公开表示，DRAM的产能和需求完全超出了其控制。还有报道称，24GB版RTX 5080因显存成本高而搁置、RTX 5090被黄牛炒到8000至9000美元，均未经官方证实。"降10倍"是云厂商和AI工厂的成本账，它不是给消费者的降价承诺——想换显卡自己动手跑AI，短期内反而更贵。知乎哔哩哔哩
接下来盯两件事
一是执行。11月12日英伟达官宣黄仁勋辞任、CFO克雷斯出任临时CEO，公司同时表示产品路线与客户交付计划维持不变，财报定于11月17日发布。Vera Rubin自8月起出货，效率故事兑现的第一前提是 Rubin 量产节奏和路线图不被换帅打乱。二是传导。Benchmark里的10倍、30倍是英伟达的账本，观察它是否变成真实账单，可以看未来两三个季度里云厂商和模型API的价格、免费额度与长上下文配额是否持续放宽——数字落到账单上，才算普通人感受到了变化。知乎
