黄仁勋:Groq芯片由三星代工,系统预计将于下半年推出
英伟达CEO黄仁勋详细阐述了下一代AI计算系统的架构设计,揭示了NVIDIA Rubin GPU与Groq LPU通过“聚合推理”实现的异构整合方案。该方案通过结合两家硬件的优势,针对AI代理系统中的KV缓存与解码任务进行了专项优化,并宣布系统将于今年下半年正式推出。
01Rubin与Groq的异构架构设计
为了应对万亿参数模型对内存与算力的极端需求,新系统采用了“聚合推理”架构,将不同特性的处理器紧密结合。NVIDIA Vera Rubin专注于处理高算力需求的数学运算与注意力机制,而Groq芯片则承担起扩展内存容量的任务,两者通过优化的以太网连接,协同完成前馈网络与Token生成任务。
- 聚合推理机制
系统将推理过程分为预填充和解码两个阶段。预填充阶段处理相对简单,解码阶段则被紧密整合。 - 任务分工
Rubin GPU负责解码中的注意力部分,该部分需要大量数学计算;Groq芯片负责前馈网络部分,主要处理Token生成。 - 连接优化
两套系统通过今日以太网紧密耦合,并采用特殊模式将延迟降低了约一半。 - 软件协同
运行于硬件之上的NVIDIA Dynamo操作系统,最终实现了整体35倍的性能提升。
02核心性能参数对比
| 参数维度 | NVIDIA Vera Rubin | Groq 3 LPU |
|---|---|---|
| 晶体管数量 | 3368亿 | 98亿 / 784亿 |
| HBM4内存 | +2.5T | +2.5T |
| SRAM带宽 | 150TB/s | 150TB/s / 1200TB/s |
| 计算性能 (FP8) | 50 PFLOPs (NVFP4) | 9.6 PFLOPs (FP8) |
| 核心功能定位 | 高算力 / KV缓存 / 注意力机制 | 高吞吐 / 内存扩展 / Token生成 |
Rubin与Groq芯片关键参数对比
03量产计划与代工信息
在制造与供应链方面,黄仁勋特别感谢了三星电子在Groq LPU芯片生产中的贡献。目前相关芯片已进入生产阶段,预计完整的Vera Rubin系统(包括Groq组件)将在今年第三季度左右正式发货,这标志着这一异构AI工厂系统即将进入商用部署阶段。
当前文章无评论,是时候发表评论了