深度解析:NVIDIA 祭出 Groq 3 LPX,AI 推理性能为何能暴涨 35 倍?
2026年GTC大会上,NVIDIA正式推出基于Groq架构的Groq 3 LPX机架式系统。作为Vera Rubin平台的重要组成部分,该系统由256颗LPU加速器组成,旨在解决万亿参数模型推理中的延迟与吞吐量瓶颈。官方数据显示,通过引入独特的LPU架构与软硬件协同设计,Groq 3 LPX在特定场景下可使每兆瓦推理吞吐量提升35倍。
01产品定位与架构演进
Groq 3 LPX的推出标志着NVIDIA对AI推理硬件分工的重新定义。该产品并非单纯依赖GPU堆叠,而是采用了异构协同策略,将计算负载根据特性进行拆分。此前发布的CPX机架概念在长上下文推理方面潜力有限,而随着Groq技术的融入,新架构彻底摒弃了原有的上下文处理导向,转而专注于解码加速。
推理硬件架构对比
通用计算与注意力处理
负责处理变长注意力运算
管理大规模KV缓存存储
处理逻辑随上下文长度线性变化


高带宽确定性推理
专注于FFN(前馈网络)层计算
采用SRAM优先的存储架构
执行静态调度与高吞吐量解码
02LPU核心技术细节
LPU(语言处理单元)的核心设计理念是将计算与通信的基本单位固定为320元素向量。这种设计移除了传统处理器中的硬件互锁与动态仲裁机制,转而依赖编译器进行精确调度,实现了完全的确定性执行。
- 模块化功能单元
LPU由四类核心模块组成:矩阵执行模块(MXM)提供密集型乘加运算,单芯片FP8算力达1.2 PFLOPS;向量执行模块(VXM)负责逐点算术与激活函数;开关执行模块(SXM)处理数据置换与转置;存储单元(MEM)则采用扁平化SRAM架构,单芯片内置500MB SRAM,带宽达150 TB/s。 - 确定性执行与TruePoint技术
通过移除硬件互锁,LPU确保所有操作延迟一致且功耗可预测。其TruePoint技术基于320元素融合点积与单次舍入步骤,能从FP16输入中获得FP32级别的计算精度,保障了LLM推理结果的一致性。
在互连架构上,Groq 3 LPX采用了RealScale技术,这是一种软件调度的确定性点对点互连,与NVIDIA生态中传统的缓存一致性C2C技术有本质区别。RealScale无硬件仲裁,数据包不含地址头,链路延迟固定,通过编译器显式流控。
| 互连层级 | 拓扑结构 | 连接方式 | 带宽表现 |
|---|---|---|---|
| 托盘内 | 全连接 | 每颗芯片96条链路 (112 Gbps) | 双向总带宽 20.6 TB/s |
| 机架内 | 蜻蜓网络 | 4个ETL spine实现托盘互联 | 聚合扩展带宽 640 TB/s |
| 机架间 | 对称连接 | 32条QSFP C2C端口级联 | 单向带宽 14.3 TB/s |
Groq 3 LPX 互连架构层级与带宽特性
03软件生态与AFD架构
为了最大化硬件效率,NVIDIA提出了注意力-FFN拆分(AFD)架构,将Transformer模型中的解码阶段拆分为两个独立步骤。这一架构依赖NVIDIA Dynamo编排层进行统一管理,无需修改现有CUDA栈即可实现任务卸载。
- GPU端处理:Rubin GPU继续负责解码注意力运算,从HBM中读取KV缓存,计算注意力分数并生成中间激活张量。
- LPU端处理:Groq 3 LPX接收GPU生成的中间激活张量,执行FFN或MoE专家计算。由于FFN权重是固定常量,LPU将其驻留在本地SRAM中,利用高带宽快速完成运算并返回结果。
这种分工模式完美契合了硬件特性:随着上下文窗口扩大,GPU承担的KV缓存与注意力计算成本虽线性增加,但LPX的负载保持稳定,有效解决了长上下文场景下的推理瓶颈。Dynamo编排层同时提供KV感知路由与延迟目标驱动调度,确保生产环境中的尾延迟稳定性。
04性能表现与应用场景
Groq 3 LPX主要针对万亿参数MoE模型中FFN层占比高达90%-99%的特性进行优化。以DeepSeek R1为例,其FFN层总参数达6691亿,占模型总大小的97.7%。通过级联多台LPX机架,可满足不同规模模型的FFN运算需求。
- 模型部署配置建议
根据单台LPX机架128GB的总SRAM容量,OpenAI GPT-OSS 120B(53 GB FFN)单台即可满足;DeepSeek R1(623.1 GB FFN)需5台机架级联;GLM 5(1.37 TB FFN)若量化为FP8则需5-6台机架。 - 推测解码加速
除AFD循环外,LPX还可用作推测解码的草稿模型生成引擎。小型草稿模型完整驻留于SRAM中,利用确定性调度快速生成候选令牌,由Rubin GPU并行验证,从而大幅提升有效令牌生成速率并降低延迟。
综上所述,NVIDIA Groq 3 LPX通过引入确定性LPU架构与AFD分工模式,重新定义了AI推理的硬件协作方式。其核心价值在于将带宽密集、静态调度的FFN计算从传统GPU中剥离,实现了万亿参数模型推理性能与能效比的显著提升。
当前文章无评论,是时候发表评论了