什么值得买App

我的兴趣消费指南

什么值得买
连续签到专享现金活动

黄仁勋:Groq芯片由三星代工,系统预计将于下半年推出

英伟达CEO黄仁勋详细阐述了下一代AI计算系统的架构设计,揭示了NVIDIA Rubin GPU与Groq LPU通过“聚合推理”实现的异构整合方案。该方案通过结合两家硬件的优势,针对AI代理系统中的KV缓存与解码任务进行了专项优化,并宣布系统将于今年下半年正式推出。
01Rubin与Groq的异构架构设计
为了应对万亿参数模型对内存与算力的极端需求,新系统采用了“聚合推理”架构,将不同特性的处理器紧密结合。NVIDIA Vera Rubin专注于处理高算力需求的数学运算与注意力机制,而Groq芯片则承担起扩展内存容量的任务,两者通过优化的以太网连接,协同完成前馈网络与Token生成任务。
  • 聚合推理机制
    系统将推理过程分为预填充和解码两个阶段。预填充阶段处理相对简单,解码阶段则被紧密整合。
  • 任务分工
    Rubin GPU负责解码中的注意力部分,该部分需要大量数学计算;Groq芯片负责前馈网络部分,主要处理Token生成。
  • 连接优化
    两套系统通过今日以太网紧密耦合,并采用特殊模式将延迟降低了约一半。
  • 软件协同
    运行于硬件之上的NVIDIA Dynamo操作系统,最终实现了整体35倍的性能提升。
02核心性能参数对比
参数维度NVIDIA Vera RubinGroq 3 LPU
晶体管数量3368亿98亿 / 784亿
HBM4内存+2.5T+2.5T
SRAM带宽150TB/s150TB/s / 1200TB/s
计算性能 (FP8)50 PFLOPs (NVFP4)9.6 PFLOPs (FP8)
核心功能定位高算力 / KV缓存 / 注意力机制高吞吐 / 内存扩展 / Token生成

Rubin与Groq芯片关键参数对比

03量产计划与代工信息
在制造与供应链方面,黄仁勋特别感谢了三星电子在Groq LPU芯片生产中的贡献。目前相关芯片已进入生产阶段,预计完整的Vera Rubin系统(包括Groq组件)将在今年第三季度左右正式发货,这标志着这一异构AI工厂系统即将进入商用部署阶段。

评论

评论区空态插画

当前文章无评论,是时候发表评论了