10月21日，一条韩媒消息沿半导体行业渠道传开：已被英伟达实际收购的AI芯片公司Groq，正计划把一种三维堆叠式DRAM封装技术应用于下一代芯片，以摆脱目前以SRAM为中心的芯片设计。 IT之家转述这则消息时，点破了换方案的直接理由：SRAM容量较小、制程升级密度收益有限，在大型模型表现和芯片迭代上存在固有局限。 英伟达与Groq官方迄今均未确认这一规划。36氪IT之家
LPU刚登上主角位置，为什么要换自己的地基
这条产品线来得并不久。2025年12月24日，英伟达与Groq达成非独家许可协议，将把Groq的AI推理技术整合进未来产品。 作为交易的一部分，Groq创始人Jonathan Ross、总裁Sunny Madra及一批核心员工进入英伟达。今年3月的GTC大会上，挂着英伟达名号的Groq3 LPU正式亮相，每颗芯片集成500MB的SRAM，这块SRAM可提供150TB/s的带宽，远高于HBM的22TB/s。 高带宽正是LPU的立身之本，与依赖HBM做工作内存的常规AI加速器截然不同。超聚焦半导体行业观察
问题出在“装”上。存储初创d-Matrix的CEO Sid Sheth给过一组对比：SRAM容量每两年只能增加约10%到20%，而模型规模可能每六至九个月就翻一倍。 需求侧同样在膨胀，按d-Matrix在今年8月Hot Chips大会上的披露，100万token上下文、64路并发用户，对应的KV cache约为935GB。36氪芯东西
SRAM自己又扩不动：单个6T SRAM存储单元的面积约为DRAM单元的10倍，缓存做到GB级规模，仅漏电功耗便可达到数十瓦；两块SRAM加速卡组合可以实现约300 TB/s带宽，总容量却只有4GB左右。 靠SRAM扛带宽可以，扛容量不行——这就是这代LPU撞上的天花板。知乎
3D堆叠DRAM是什么，跟HBM不是一回事
Groq拟采用的方案被称为3DS：一种高容量封装，使用硅通孔（TSV）垂直连接DRAM芯片。它和HBM工艺同源但取向不同，HBM专注数据传输速度，3DS专注于在保持现有DRAM接口的同时扩展容量。 换个说法，它是让存储“盖成楼”——容量落在SRAM与HBM之间，带宽却因垂直互连可以逼近SRAM水平，单bit传输能耗仅约为HBM的十分之一。36氪芯东西
这条路线已有参照。d-Matrix在Hot Chips 2026上展示的Raptor 3D-DRAM加速器，可对3万亿参数量级模型提供百万token上下文的推理服务。 换句话说，市场已经验证了3D堆叠DRAM能撑起前沿模型的长上下文，英伟达现在要把它装进自家的LPU。知乎
但工程门槛同样真实：DRAM位于计算芯片上方时，计算产生的热量需穿过温度敏感的DRAM堆栈散出，供电也要走TSV，d-Matrix给出的可行边界是功率密度不超过0.5W/mm²、配合液冷才能把DRAM温度压在100°C以下。 3DS不是免费的容量，它考验的是封装与散热工艺。芯东西
换道背后：推理竞争进入“装得下”的下半场
从GTC公布的定位看，Groq3 LPX机架是Rubin GPU的解码协处理器，256颗LPU组成一个机架，提供128GB的SRAM和40PB/s的推理加速带宽。36氪
英伟达给出的目标场景是多智能体：在这种负载里，GPU与LPU组合要把代理间通信吞吐量从每秒100个token提升到每秒1500个token甚至更高。 换言之，长上下文、高并发的智能体推理，恰恰是最吃内存容量的负载。而外部的存储器行情也在推着行业做这道选择题：DRAM价格仍处于上行周期，四季度合约价或再涨20%。半导体行业观察界面新闻
消息尚未经官方证实，下一代LPU的规格与时间表都还是未知数，但半导体行业观察从这则报道里读出的信号足够清晰：3D DRAM似乎正在成为必经之路。 当英伟达与d-Matrix同向而行，推理芯片的军备竞赛，正在从“谁更快”转向“谁能把模型装下、把长对话跑起”。36氪
