英伟达即将发布的“前所未有”芯片引发业界猜想。基于与SK海力士的合作、收购LPU公司Groq等技术线索,推测其并非单颗GPU,而是一套旨在实现极致性价比与能效的推理系统,通过分离Prefill和Decode阶段,重塑AI推理硬件架构。
智能速览
英伟达新方案或为双芯片推理系统。
Prefill阶段可能采用定制ASIC芯片。
Decode阶段则由高带宽GPU负责。
新方案融合了Groq的SRAM技术。
与SK海力士合作研发新型DRAM。
整体目标是提升推理能效与经济性。
精华内容
面对AI推理的算力与带宽瓶颈,英伟达或将通过一种全新的硬件架构来破局,这套系统被猜测为两颗分工明确的专用芯片。
Prefill专用芯
大模型推理的Prefill阶段高度依赖算力,用于处理初始输入并生成KV Cache。推测英伟达为此设计了一颗大型ASIC芯片,而非GPU。这颗芯片将拥有巨大的die size以保证算力,并集成从LPU公司Groq获得技术的大型SRAM缓存。更重要的是,它将与SK海力士合作的新型DRAM相结合,提供大容量与高带宽,可能采用先进的3D封装技术,专为高吞吐量的数据处理任务优化。
Decode带宽芯
完成Prefill后,推理进入Decode阶段,此阶段的核心矛盾变为带宽。模型需要不断从内存中读取KV Cache以生成每个token,对内存带宽要求极高。因此,第二颗芯片预计是一颗拥有大量SRAM和极高带宽HBM(高带宽内存)的GPU。这样的设计确保了在序列生成过程中,数据传输的流畅性,避免了因带宽不足而导致的性能瓶颈。
双芯协同系统
这两颗分工明确的芯片并非独立存在,而是共同构成一套完整的推理系统。ASIC负责“猛火快攻”式的初始计算,GPU则进行“细水长流”式的序列生成。这种将Prefill和Decode物理分离的架构,能够让每个单元都在最擅长的领域高效运行,从而实现远超传统单GPU方案的整体能效比和经济性,为AI推理市场带来新的解决方案。
技术线索来源
这一猜想的依据主要来自几个关键信息。首先是英伟达CEO黄仁勋提到的“前所未有”的芯片;其次是英伟达与SK海力士在存储技术上的深度合作;再者是收购LPU公司Groq,获得了其核心的SRAM技术与专利;最后是英伟达此前发布的CPX解决方案,已经体现了Prefill与Decode分离的思路。这些线索共同指向了这套双芯片推理系统的可能性。
若猜测成真,这套双芯片系统将重新定义AI推理的硬件标准,以更高的效率和性价比推动大模型应用的普及。它能否成功挑战现有市场格局,将成为业界关注的焦点。