10月21日，IT之家援引海外媒体报道：芯片技术已被英伟达收入囊中的AI芯片公司Groq，计划在下一代LPU（语言处理单元）芯片上放弃当前以大容量SRAM为主的片上存储架构，转向基于TSV硅通孔的3D堆叠DRAM，用来补上SRAM"速度快但装不下"的短板。这个取舍可以一句话说清：SRAM决定了LPU的速度上限，也锁死了它的容量上限；3D堆叠DRAM用只比SRAM略降的延迟和带宽，换来大一个数量级的片上存储空间，同时把访存能耗降到HBM的两成左右——对逐词生成、被内存带宽卡住脖子的解码推理，这是当前最合身的接班方案。知乎
这不是一次纸面上的架构实验。8月下旬，英伟达宣布Groq 3 LPX交互式推理机架全面投产；第三方机构Artificial Analysis的实测显示，在Gemma 4-31B模型、10万tokens长上下文下，该机架中位输出速度达3431tokens/s，约为当前公开最快同类方案（870tokens/s）的3.9倍。SRAM路线证明了速度，也同时暴露了天花板——换代，正是冲着天花板去的。芯东西
LPU为什么天生依赖大SRAM
大模型推理分两个阶段：Prefill（预填充）处理完整输入，是计算密集型；Decode（解码）逐token往外"蹦"，每生成一个字都要把历史KV缓存重新读一遍，是典型的访存受限任务。传统GPU把权重和KV缓存放在HBM里，带宽再高也隔着封装基板和内存颗粒，单用户逐token生成的延迟很难压低。
Groq的LPU走了另一条路：把芯片拆成负责向量运算、数据搬运、矩阵乘法等多种专用功能的"片"（slice），数据横向流动、指令纵向输送，编译器在任务运行前就排定精确到时钟周期的传输时间表，运行时不做动态仲裁。这套"确定性执行"的前提，是数据必须放在延迟可控、带宽充足的片上SRAM里。GTC2026主题演讲披露的官方参数把这条路线的特点摆得很清楚：Rubin GPU配288GB HBM4、带宽22TB/s；每颗Groq 3 LPU只集成500MB片上SRAM，却可提供150TB/s的带宽。SemiAnalysis的拆解则显示，正在量产的LP30改用三星SF4工艺，芯片绝大部分面积被片上SRAM占用，FP8算力为1.2 PFLOPS，单芯片规模远小于英伟达的GPU——全部筹码都押在"快"上。半导体行业观察知乎
产品层面，英伟达在2026年3月的GTC大会发布了Groq 3 LPX机架系统：单机架256颗LPU，提供128GB片上SRAM总量、40PB/s推理加速带宽和640TB/s专用扩展互联，作为Vera Rubin平台的推理协处理组件。它与负责预填充、维护长上下文缓存的Vera Rubin NVL72机柜分工搭配，支持预填充-解码分离、注意力-前馈网络分离、投机解码协同三种部署模式；Nebius是首家采用这套系统的AI云服务商。半导体行业观察芯东西
大SRAM的账，算不过来了
SRAM的优点和缺陷是同源的：单元只有六管结构、不需要刷新，所以快；也正因为结构简单占面积，存储密度远低于DRAM，同样容量的成本高出数倍。单颗500MB、整机架128GB的片上SRAM，对大模型推理来说捉襟见肘——模型权重先吃掉一大块，留给KV缓存的空间所剩无几，而KV缓存恰恰会随并发用户数和上下文长度线性膨胀。批量一大就爆内存，批量小则算力空转，结果是首token极快、总吞吐和单token成本却吃亏。SemiAnalysis的判断很直接：独立部署的Groq LPU系统在大规模Token推理服务场景下并不具备成本优势，只能靠"极速生成"卖溢价。知乎
模型侧的趋势还在放大这个矛盾。MoE模型的专家池越做越大，注意力层要拖着整个上下文的KV缓存跑，这类"有状态"计算更适合交给配大容量HBM的GPU；LPU接管的FFN（前馈网络）部分是无状态的，单个专家也只有数百MB。更麻烦的是推测解码——把草稿模型或多token预测层放上LPU能成倍放大延迟收益，但草稿模型要吃几十GB内存，片上SRAM完全装不下。SemiAnalysis拆解发现，量产版LPX的解法相当别扭：机架里每颗负责扩展与互联管理的FPGA，外挂最高256GB DDR5来承接KV缓存，等于用板级内存给片上存储打补丁。补丁能应急，不能当架构。
英伟达2025年12月与Groq达成协议，取得其芯片技术的非独占授权并吸纳核心研发团队，《纽约时报》披露这笔交易金额约170亿美元。SemiAnalysis给出的口径更高，称约200亿美元；这笔"授权+挖角"结构今年9月被曝已触发美国司法部的反垄断调查。接手的团队给路线图定下的第一个方向，正是补上容量这一课。知乎
3D堆叠DRAM凭什么接班
3D堆叠DRAM的思路很直白：不再把内存放在计算芯片"旁边"，而是直接叠在"头顶"——DRAM裸片通过混合键合与TSV（硅通孔）垂直堆在逻辑裸片上，数据沿最短路径上下穿透。它和HBM都用TSV，但层级不同：HBM是把内存颗粒立在基板上、隔着硅中介层与GPU相连，算力和内存终究分居两处；3D堆叠DRAM则把内存长在计算die之上，I/O间距和密度完全不是一个量级。
最近公开的一篇芯片架构论文（ATLAS，首个经真实芯片验证的3D-DRAM加速器仿真框架）给出了可量化的对比：混合键合把I/O密度推到11万个/mm²（3微米间距），带宽密度较HBM提升一个数量级；访存能耗降到0.66–0.88 pJ/bit，比HBM低77%–83%；逻辑die上还能用成熟CMOS工艺定制计算单元。换句话说，相比SRAM，3D堆叠DRAM的延迟和带宽只有小幅退步；相比DRAM/HBM，容量又大幅跃升——它恰好填进SRAM与板载内存之间那段空档，而这段空档正是解码这种访存密集型负载最需要的。知乎
按SemiAnalysis此前披露的路线，英伟达接手后的下一代LPU（分析机构称LP40）将转向台积电N3P工艺加CoWoS-R封装，用NVLink协议替换Groq自研的C2C互联，与费曼（Feynman）平台深度协同设计，混合键合DRAM正是规划中的核心创新，3D堆叠所用的DRAM供应商据报道选定SK海力士。GTC2026主舞台的路演幻灯片上，"LP40 NVLink"已被排进2028年前后的费曼板块——"弃大SRAM、选3D堆叠DRAM"与这家公司的产品时间表是能对上的。
换道之后，改写的是什么
对用户侧成本的影响集中在两点。其一，如果容量短板补齐，LPU就不再只能受限于"FFN给LPU、注意力留GPU"的解耦分工，长上下文、超大模型乃至完整解码流程都可能被收回片上，GPU与LPU之间的KV缓存搬运和跨机架通信这一性能瓶颈会随之收窄——这是架构层面的合理推演，最终边界要看量产规格。其二，容量换吞吐，Token生成的成本曲线才能真正打下来，"毫秒级响应"才可能从溢价卖点变成默认配置。
对产业链，混合键合与TSV堆叠将从HBM之外的封装选项升级为推理芯片的标配路径，直接利好具备堆叠DRAM产能的存储原厂和先进封装环节；对英伟达，则多了一个把推理栈从GPU单品做成"GPU+LPU双柱"的抓手。需要盯的变量同样明确：这仍是供应链端消息，下一代LPU的流片和出货节奏没有公开时间表；反垄断调查虽悬而未决，但据路透社分析，即便认定违规，大概率也只是罚款而非撤销交易，对路线的约束有限。
值得留意的后续信号：这则报道恰落在柏林GTC（10月20日至22日）的当口；英伟达财报电话会等场合是否会证实堆叠DRAM路线、SK海力士会有怎样的产能披露，都是接下来的看点。
