张大妈

SK海力士全新的存储架构-“H³(hybrid semico

源自小红薯:减脂防糖尿病

02-23 13:24

面对日益增长的AI算力需求,存储瓶颈成为关键挑战。SK海力士提出的H³混合存储架构,通过巧妙结合HBM与HBF技术,有效分担GPU数据负担。这一创新方案不仅将每瓦性能提升数倍,更大幅降低了大规模AI应用对GPU数量的依赖,为解决行业痛点提供了全新思路,预示着AI硬件架构的新方向。

SK海力士全新的存储架构-“H³(hybrid semico智能速览

  • SK海力士推出H³混合存储架构,结合HBM与HBF两种技术。

  • 该架构实测每瓦性能相比纯HBM方案提升高达2.69倍。

  • HBF闪存用于存储KV缓存,释放HBM与GPU算力。

  • 处理并发查询能力提升18.8倍,大幅减少所需GPU数量。

  • SK海力士计划今年推出HBF样品,行业竞品亦在跟进。

SK海力士全新的存储架构-“H³(hybrid semico精华内容

H³架构的核心在于巧妙分工,让合适的存储技术处理对应的数据类型。这种“各司其职”的设计,正是其实现性能飞跃的关键所在。

架构解析:H³是什么

H³(Hybrid-HBM/HBF)是一种创新的混合存储架构,旨在解决AI大模型训练中的存储瓶颈。其核心设计在于将HBM(高带宽内存)与HBF(高带宽闪存)两种技术并置于GPU旁,形成一个协同工作的系统。

在此架构中,HBM凭借其超高速度继续承担高速计算和实时数据交换的任务,而HBF则利用NAND闪存的堆叠优势,专注于存储海量的键值(KV)缓存。这种设计让不同存储介质各司其职,优化了整个数据流路径。

性能跃升:实测数据

根据SK海力士的仿真实验数据,H³架构的性能提升十分显著。在配备8个HBM3E和8个HBF的配置下,系统每瓦性能相较于单独使用HBM的方案,提升了高达2.69倍。

更具突破性的是,当HBF处理高达1000万个令牌的KV缓存时,系统处理并发查询的能力提升了18.8倍。这意味着,以往需要32个GPU才能完成的任务负载,现在仅需2个GPU即可胜任,算力成本被极大地压缩。

核心角色:HBF的使命

HBF被视为H³架构成功的关键。与通过堆叠DRAM芯片实现高速的HBM不同,HBF通过堆叠NAND闪存制造,在成本和容量上拥有天然优势。

其核心使命是作为大型语言模型KV缓存的专用存储层。将这部分数据从昂贵的HBM中转移出来,不仅释放了HBM的带宽用于核心计算,也让GPU可以更专注于推理和生成新数据,从而实现了系统整体效率的最大化。

产业动向:未来展望

HBF技术并非SK海力士独有,它已引起整个存储产业的关注。除了SK海力士计划在今年推出第一代HBF样品外,三星电子和闪迪等巨头也在积极布局。

行业普遍预计,相关技术有望在2027年底至2028年初,由英伟达、AMD及谷歌等公司应用于其实际产品中。这预示着,混合存储架构将成为未来AI硬件发展的重要趋势。

SK海力士的H³架构为突破AI算力瓶颈提供了极具想象力的解决方案,其“分工合作”的理念或将成为未来硬件设计的范式。随着更多厂商的入局,混合存储技术将如何重塑AI产业的成本结构与效率边界,值得持续关注。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章