什么值得买App下载 App ›
连续签到专享现金活动

英伟达LPU打破内存墙:AI聊天响应提速10倍,告别卡顿

03-17 10:46

英伟达在其GTC大会上发布了一款名为LPU(语言处理单元)的专用推理芯片,旨在大幅提升人工智能模型(尤其是聊天机器人等应用)的响应速度。这款新芯片的推出,标志着英伟达正将其战略重心从传统的模型训练领域,向日益重要的AI推理领域拓展。

长期以来,虽然以GPU为代表的传统芯片在AI模型训练的海量并行计算中表现出色,但在推理环节,即AI模型生成响应的阶段,却面临着延迟高、能效低的瓶颈。这主要是因为推理过程,特别是逐个生成单词或字符的“解码”(decode)阶段,对内存带宽和延迟极为敏感,频繁的数据读写成为了性能的短板。

为了解决这一痛点,LPU应运而生。LPU是一种专为AI推理设计的ASIC专用芯片。其核心架构与GPU有着本质区别:它摒弃了对外部HBM(高带宽内存)的依赖,转而采用了大容量、高速度的片上SRAM作为主要存储介质。这种设计将存储单元与计算单元紧密集成,极大地缩短了数据传输路径,从而突破了所谓的“内存墙”瓶颈,实现了极低的延迟和惊人的内存带宽。

英伟达LPU打破内存墙:AI聊天响应提速10倍,告别卡顿

英伟达此次发布的LPU产品名为“Nvidia Groq 3 LPU”,其核心技术来源于对初创公司Groq的一项重大技术许可与团队整合。这款LPU并非要独立取代GPU,而是与英伟达的新一代Vera Rubin GPU协同工作,形成一种“分离式推理”的混合架构。在这种架构下,计算密集型的“预填充”(pre-fill)任务由GPU负责,而对延迟极度敏感的“解码”(decode)任务则交给LPU处理,各司其职,从而实现整体性能和效率的最优化。

英伟达LPU打破内存墙:AI聊天响应提速10倍,告别卡顿

据英伟达介绍,通过这种GPU与LPU的组合,新系统能够将AI模型的推理速度提升高达10倍,同时大幅提升能效比。在实际部署中,英伟达将256颗Groq 3 LPU集成到一个名为Groq 3 LPX的液冷机架中,这些机架可无缝集成到英伟达的Vera Rubin AI工厂平台,为处理万亿级参数模型和百万级上下文窗口的复杂推理任务提供支持。

这一技术突破的背后,是AI产业从大规模模型训练向大规模推理应用的重心转移。随着AI智能体(Agent)等应用的兴起,市场对低成本、高效率的推理算力需求激增。包括OpenAI在内的行业头部公司已成为该新系统的首批客户之一,这不仅验证了LPU技术的市场价值,也预示着AI算力基础设施正在向更专用、更高效的方向演进。

该LPU芯片预计将由三星代工,并计划于今年下半年开始出货。同时,英伟达也透露了其更长远的产品路线图,计划在未来的Feynman架构中,通过3D堆叠等技术将LPU单元更深度地整合到GPU内部,持续巩固其在AI计算领域的领导地位。

评论

评论区空态插画

当前文章无评论,是时候发表评论了