生成式AI的扩张让GPU内存(HBM)面临容量与成本的双重压力。一种全新的技术路径正在浮现:通过超高IOPS的SSD与GPU直连,构建可扩展的‘扩展内存层’。这不仅是对现有存储架构的补充,更可能为下一代AI基础设施的演进指明方向,在性能与成本之间找到新的平衡点。
智能速览
铠侠展示了可实现1亿IOPS的超高性能SSD仿真方案。
该技术旨在解决AI场景中HBM内存容量与成本受限的瓶颈。
通过BaM框架,GPU可直接访问SSD,绕过CPU主存降低延迟。
产品基于第三代XL-FLASH和PCIe 7.0,计划于2027年面世。
这并非替代HBM,而是构建一个更具性价比的扩展高性能内存池。
精华内容
当AI模型对内存的渴望远超HBM所能承载的极限,一场围绕存储架构的变革正在悄然发生。突破性的技术如何将SSD从数据仓库变为计算加速器?
HBM的困境
随着生成式AI模型参数量、上下文长度和并发用户数的激增,GPU的高带宽内存(HBM)已成为稀缺且昂贵的资源。HBM的容量直接限制了模型规模和系统能力,但其极高的成本和有限的扩展性,使得仅靠物理扩容HBM来满足需求变得难以为继。算力的增长,正被存储瓶颈所制约。
如何在不显著增加成本的前提下,有效扩充GPU可用的“高速内存”空间,成为AI基础设施面临的核心挑战。
BaM直连架构
实现突破的关键在于名为Big Accelerator Memory(BaM)的开源框架。该框架允许GPU通过标准协议直接访问SSD中的数据,彻底绕开传统的CPU主存通路。这种直连模式极大地降低了数据访问延迟,并显著提升了存储与计算单元间的带宽利用率。
在AI工作负载中,基于BaM框架的SSD不再仅仅是用于长期保存的“外部存储”,而是转变为GPU可快速调用的“扩展内存层”,让高频数据交换不再完全依赖于本地的HBM。
技术实现路径
为了让SSD能够胜任这种直连架构的严苛要求,铠侠正在开发专为极端IOPS场景优化的闪存产品。其展示的1亿IOPS SSD仿真方案,采用了第三代XL-FLASH技术,并基于PCIe 7.0接口,目标是在512字节随机读取下达成这一性能指标。
铠侠为此规划了清晰的技术路线:计划于2026年发布基于第二代XL-FLASH的PCIe 6.0 SSD,性能目标为1000万IOPS;随后在2027年推出实体产品,冲击1亿IOPS的性能巅峰,实现从10M到100M的量级跨越。
架构的新平衡
这项技术的核心价值并非替代HBM,而是构建一种新的架构平衡。HBM继续承担最高速的数据处理任务,而超高性能SSD则作为一个巨大的“高速缓存池”或“扩展内存”,为GPU提供远超当前规模的容量支撑。
对数据中心和AI平台开发者而言,这种方案提供了一种更灵活、更具性价比的存储选择。它让AI系统在成本可控的范围内,获得更大的高性能内存池,从而推动AI基础设施向着更高效、更经济的方向演进。
铠侠的超高IOPS SSD技术,为AI存储架构演进提供了全新思路。它让存储不再是被动角色,而是主动参与计算的加速器。未来,随着这种架构的成熟,AI基础设施的算力与成本边界或将被重新定义,这是否会开启大模型普及的新篇章?