美东时间11月5日，英伟达发布官方博客，详解其AI内存全栈协同设计：从Blackwell Ultra到Vera Rubin平台，单颗GPU的HBM容量只增加约3%，特定Agent工作负载下每美元吞吐量最高提升30倍。 这组数字对标的不是"内存不够"，而是HBM这一最贵内存层级，正被大量不必待在里面的数据占据。华尔街见闻
吃掉HBM的不是模型本体
英伟达的判断是，推理过程中模型权重和KV Cache都要占用HBM，而HBM恰恰是AI工厂里速度最快、成本最高、供应最受限制的层级，单纯增加容量解决不了所有问题。 KV Cache是模型已经算过的上下文，用来避免重复计算，对话越长、并发越高，它占的显存越多。华尔街见闻
压力在Agent应用里被进一步放大：一次任务可能涉及多轮模型推理、工具调用和结果返回，历史上下文不断累积，部分任务轨迹涉及的处理上下文规模已达到300万Token。 叠加RAG要把企业文档转成向量并常驻检索，需要留在GPU附近的数据还在继续膨胀。华尔街见闻
容量到顶，堆料也换不来吞吐
英伟达把HBM比作仓库、把内存带宽比作装卸码头：仓库再大，装卸速度跟不上，增加仓储空间也提高不了实际吞吐量；一旦算力或带宽成为瓶颈，额外增加的内存反而只增加成本和功耗。 换句话说，性能曲线会先于容量耗尽而变平，堆容量救不了带宽和调度。华尔街见闻
堆料路线在供应端同样走不通。三星已与10家客户签署长期供货协议，2027年HBM供应谈判完成、产能全部售罄，美光等厂商判断2027至2028年供需紧张高于2026年，中信证券预计供不应求延续到2028年及以后。 英伟达自身也在收缩堆叠规格：三星和SK海力士正准备2027年二季度向Rubin Ultra供应8层HBM4，原定的12层HBM4E方案或将生变。 于是"全栈协同"不只是技术路线选择，也是在HBM紧缺下的现实排布。晨观时报华尔街见闻
全栈方案：让数据各回各层
权重侧，NVFP4把模型权重压到4位精度，相比FP8进一步减少存储占用，包括Black Forest Labs、Meta在内的模型开发商已开始用NVFP4格式发布权重；硬件层面则通过NVLink把权重分布在最多72颗GPU之间，单颗GPU只存模型的一部分，腾出的HBM用来装KV Cache和服务更多并发用户。华尔街见闻
不活跃的上下文则被分层卸载：Vera CPU配备大容量LPDDR内存并经NVLink-C2C与Rubin GPU直连，为暂时不活跃的上下文提供离GPU较近、需要时可快速调回的暂存空间；Dynamo软件进一步把冷KV Cache卸载到CMX上下文存储层，每比特成本远低于HBM，还能跨服务器共享；KV Cache Reuse把GPU、CPU、存储中的缓存当系统级资源统一复用，已经算过的上下文不必反复重新计算。华尔街见闻
检索侧同理：NeMo Retriever用更小的向量嵌入降低存储与传输量，cuVS支持在CPU内存和存储层级构建、运行大型向量索引，让企业知识库不必整体挤占GPU的HBM，只有被检索命中的文本片段才进入模型上下文。华尔街见闻
"30倍"该怎么读
先看基准。英伟达援引的是SemiAnalysis AgentX基准测试中的DeepSeek V4 Pro工作负载，比较不同代际平台的吞吐量与成本效率。华尔街见闻
两组数字放在一起才能看清含义：在每位用户每秒100个Token的服务速度下，GB300 NVL72相较H200平台每美元吞吐量最高提升10倍，那代单卡HBM容量大约翻倍；在每秒125个Token的服务速度下，Vera Rubin NVL72相较GB300 NVL72才给出每美元吞吐量最高提升30倍，而单颗GPU的HBM容量仅增加约3%。华尔街见闻
也就是说，英伟达推到台前的新标尺，是在满足响应速度、电力预算等约束的前提下，一美元、每瓦换回多少有用Token，而非单卡塞了多少GB。 需要给这组数字划清边界：30倍是"最高"值，成立条件是特定的长上下文Agent负载和高缓存复用；若任务本身上下文短、缓存难以复用，分层卸载带来的调度开销反而会摊薄收益——这正是全栈设计区别于堆料路线的地方，它的收益取决于任务结构是否被这套分层接住。华尔街见闻
热点背后的更大问题
这篇博客发布的同一天，英伟达股票盘中一度跌超9%，抹平年内涨幅，市场正重新审视AI基础设施的投资回报周期。 一周之后的11月12日，英伟达宣布黄仁勋辞去公司总裁、首席执行官及董事职务，即刻生效，首席财务官科莱特·克雷斯临时接任CEO。华尔街见闻36氪
这是英伟达成立33年来首次更换CEO，接任者要面对的市场，已经不再只看算力增速。36氪
把这些放在一起，全栈协同设计的分量才显出来：当HBM产能被长约锁定到2027年之后、堆料既贵又买不到时，谁能用同一份内存、同一度电交付更多Token，谁才握有下一轮AI工厂的定价权。
