张大妈

英伟达即将发布的芯片

源自UP主:人工智涨Ultra

02-22 11:11

英伟达即将发布的“前所未有”芯片引发业界猜想。基于与SK海力士的合作、收购LPU公司Groq等技术线索,推测其并非单颗GPU,而是一套旨在实现极致性价比与能效的推理系统,通过分离Prefill和Decode阶段,重塑AI推理硬件架构。

英伟达即将发布的芯片智能速览

  • 英伟达新方案或为双芯片推理系统。

  • Prefill阶段可能采用定制ASIC芯片。

  • Decode阶段则由高带宽GPU负责。

  • 新方案融合了Groq的SRAM技术。

  • 与SK海力士合作研发新型DRAM。

  • 整体目标是提升推理能效与经济性。

英伟达即将发布的芯片精华内容

面对AI推理的算力与带宽瓶颈,英伟达或将通过一种全新的硬件架构来破局,这套系统被猜测为两颗分工明确的专用芯片。

Prefill专用芯

大模型推理的Prefill阶段高度依赖算力,用于处理初始输入并生成KV Cache。推测英伟达为此设计了一颗大型ASIC芯片,而非GPU。这颗芯片将拥有巨大的die size以保证算力,并集成从LPU公司Groq获得技术的大型SRAM缓存。更重要的是,它将与SK海力士合作的新型DRAM相结合,提供大容量与高带宽,可能采用先进的3D封装技术,专为高吞吐量的数据处理任务优化。

Decode带宽芯

完成Prefill后,推理进入Decode阶段,此阶段的核心矛盾变为带宽。模型需要不断从内存中读取KV Cache以生成每个token,对内存带宽要求极高。因此,第二颗芯片预计是一颗拥有大量SRAM和极高带宽HBM(高带宽内存)的GPU。这样的设计确保了在序列生成过程中,数据传输的流畅性,避免了因带宽不足而导致的性能瓶颈。

双芯协同系统

这两颗分工明确的芯片并非独立存在,而是共同构成一套完整的推理系统。ASIC负责“猛火快攻”式的初始计算,GPU则进行“细水长流”式的序列生成。这种将Prefill和Decode物理分离的架构,能够让每个单元都在最擅长的领域高效运行,从而实现远超传统单GPU方案的整体能效比和经济性,为AI推理市场带来新的解决方案。

技术线索来源

这一猜想的依据主要来自几个关键信息。首先是英伟达CEO黄仁勋提到的“前所未有”的芯片;其次是英伟达与SK海力士在存储技术上的深度合作;再者是收购LPU公司Groq,获得了其核心的SRAM技术与专利;最后是英伟达此前发布的CPX解决方案,已经体现了Prefill与Decode分离的思路。这些线索共同指向了这套双芯片推理系统的可能性。

若猜测成真,这套双芯片系统将重新定义AI推理的硬件标准,以更高的效率和性价比推动大模型应用的普及。它能否成功挑战现有市场格局,将成为业界关注的焦点。

内容由AI生成
1
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章