NVIDIA GTC 2026 LPU 解读
在NVIDIA GTC 2026大会上,公司发布了多项重要系统更新,包括Groq LPX、Vera ETL256和STX,并推出了Rubin Ultra NVL576等多机架系统。本次大会的一个核心亮点在于NVIDIA对Groq技术的深度整合,这源于此前一项价值200亿美元的战略合作。NVIDIA通过授权知识产权并吸纳研发团队,规避了反垄断审查的复杂性,迅速将Groq的LPU架构集成至Vera Rubin推理栈中。本文将重点剖析LPU的技术架构、系统设计及其在NVIDIA生态中的战略定位。
01LPU架构原理:确定性数据流
Groq LPU采用了与传统GPU截然不同的设计哲学,旨在解决推理延迟问题。传统通用处理器依赖复杂的缓存层级、分支预测和乱序执行,通过概率性手段追求平均性能,但会导致延迟分布不可预测。Groq选择将复杂性转移到编译器阶段,通过“确定性”设计消除运行时的硬件仲裁与拥塞控制。
LPU的核心微架构基于“Slicer(切片)”概念。不同于连接多个通用内核,LPU将硬件重组为单用途单元组,并通过流式寄存器传递数据。这种设计使芯片像一个巨大的流水线,在同一时刻执行和传输数据。其架构主要包括四种Slicer:
- VXM Slicer:负责矢量运算
- MEM Slicer:负责数据的加载与存储
- SXM Slicer:负责张量形状的操纵
- MXM Slicer:负责执行矩阵乘法
在空间布局上,Slicer水平排列以允许数据横向流动,而指令则在单元间垂直传送。编译器可以积极调度指令并重叠执行以隐藏延迟。配合高带宽SRAM,这种架构实现了极低的推理延迟。
02技术演进与供应链策略
NVIDIA计划通过三代LPU产品逐步实现技术融合与产能优化。第一代LPU采用Global Foundries 14nm工艺,虽然成熟但性能相对落后;第二代LPU原定采用三星SF4X工艺,但因设计问题未能量产。第三代LPU30跳过了第二代,修复了设计缺陷,并继续使用三星SF4X工艺。
| 特征/型号 | LPU Gen 1 | LPU 30 | LPU 40 (规划中) |
|---|---|---|---|
| 工艺节点 | Global Foundries 14nm | Samsung SF4X | TSMC N3P |
| SRAM容量 | 230MB | 500MB | 混合键合DRAM扩展 |
| 计算性能 | 750 INT8 TFLOP | 1.2 PFLOP (FP8) | 待公布 |
| 封装技术 | 传统封装 | 无需先进封装 | CoWoS-R |
| 战略价值 | 验证架构概念 | 规避台积电产能瓶颈 | 与费曼架构高度协同 |
三代LPU关键技术规格对比
选择三星SF4X工艺的一个重要原因是规避台积电N3节点的产能限制。NVIDIA目前面临TSMC 3nm产能和HBM供应的双重瓶颈,利用三星的产能可以在不消耗宝贵配额的情况下增加LPU产量。未来的LPU 40将转向台积电N3P,并引入NVLink协议和混合键合DRAM技术,实现与Feynman架构的深度协同。
03架构协同:Attention FFN分解 (AFD)
为了解决LLM推理中的效率瓶颈,NVIDIA提出了Attention FFN Decomposition (AFD) 方案,将推理过程中的Prefill和Decode阶段进行解耦。Prefill阶段计算密集,适合GPU处理;而Decode阶段对延迟敏感,且受到KV Cache加载的限制。LPU的高带宽SRAM和确定性架构非常适合加速Decode阶段。
GPU与LPU的AFD分工
Attention计算
处理动态KV Cache加载
利用HBM大容量优势
承担Prefill阶段计算


FFN计算
基于静态计算工作负载
利用确定性架构加速
专注于Decode阶段迭代
通过AFD,GPU的HBM容量可以完全分配给KV Cache,从而处理更多Token。LPU则负责处理无状态的FFN计算,利用其高带宽SRAM快速处理数据。两者通过All-to-All集体操作进行通信,并采用乒乓流水线并行性来隐藏通信延迟,实现整体吞吐量的提升。
04LPX机架系统与硬件规格
NVIDIA展示的LPX机架系统包含32个1U LPU计算托盘和2个Spectrum-X交换机。每个计算托盘集成了16个LPU芯片、2个Altera FPGA(作为结构扩展逻辑)、1个Intel Granite Rapids CPU和1个BlueField-4前端模块。
- FPGA的多重作用:充当NIC,将LPU的C2C协议转换为以太网连接Spectrum-X;将C2C转换为PCIe连接主机CPU;连接背板管理LPU控制流。
- 内存扩展:FPGA提供了高达256GB的DDR5内存池,可用于KV Cache存储,支持LPU独立完成解码过程。
- 高密度互联:LPU模块背靠背安装在PCB上,通过高规格PCB迹线实现全网状连接,减少信号传输距离。
当前文章无评论,是时候发表评论了