数据规模失控后,为什么 AI 和 HPC 正在逐步放弃 HDD?一文聊清存储选型逻辑

源自知乎:科技路人甲

01-24 18:37

随着AI、数据湖等应用的数据规模爆炸式增长,传统HDD存储已成为系统瓶颈,导致算力浪费。本文深入探讨了这一现象背后的原因,并剖析了以铠侠LC9系列为代表的大容量QLC NVMe SSD,如何通过工程创新,在容量、性能与能效间找到新平衡,为数据密集型应用提供可行解法。

数据规模失控后,为什么 AI 和 HPC 正在逐步放弃 HDD?一文聊清存储选型逻辑

数据规模失控后,为什么 AI 和 HPC 正在逐步放弃 HDD?一文聊清存储选型逻辑智能速览

  • AI与HPC数据规模激增,使传统HDD在吞吐和延迟上成为性能瓶颈。

  • 铠侠LC9系列QLC SSD提供30TB至245TB超大容量,单盘接近0.25PB。

  • 性能实测显示,单块LC9顺序读取速度可达12GB/s,远超多块HDD之和。

  • 软件定义存储(SDS)架构与大容量NVMe SSD结合,能最大化释放硬件效能。

数据规模失控后,为什么 AI 和 HPC 正在逐步放弃 HDD?一文聊清存储选型逻辑精华内容

HDD的瓶颈并非简单的“慢”,而是无法匹配现代并行计算的效率。超大容量SSD的出现,正是为了从根本上解决这一架构性矛盾。

算力等待的困境

在AI与HPC场景中,数据集规模正以前所未有的速度膨胀。从原始数据、清洗后的数据到中间训练结果,数据量的叠加对存储层提出了严峻挑战。

传统HDD在吞吐、延迟和并发能力上的短板日益凸显,导致高性能GPU经常处于“等数据”的空闲状态。这种算力资源的浪费,在规模化集群中会直接转化为高昂的时间与经济成本,使得存储成为整个系统的性能瓶颈。

QLC SSD的容量革命

铠侠LC9系列的推出,为容量瓶颈提供了直接的工程解法。该系列SSD单盘容量从30TB起步,最高可达245TB,意味着一块2.5英寸的SSD已经能提供接近0.25PB的存储空间。

这一容量密度变革带来了显著的部署优势。在一台24盘位2.5英寸服务器中,总容量可接近6PB;在面向未来的40盘位E3.L架构服务器中,更能实现近10PB的总容量。这使得数据湖、对象存储等应用能够在更少的节点、更低的功耗下完成部署。

数据规模失控后,为什么 AI 和 HPC 正在逐步放弃 HDD?一文聊清存储选型逻辑

性能与能效的量化

大容量SSD的优势远不止于空间。以一块245TB的LC9 SSD与8块30TB的HDD阵列进行对比,性能与能效的差距十分悬殊。

在顺序读取场景下,单块LC9的带宽可达12GB/s,而8块HDD的合计带宽仅约2.2GB/s。在随机读取场景下,NVMe SSD更是能提供数量级更高的IOPS性能。功耗方面,一块LC9的最大功耗也远低于8块HDD的总和,直接降低了运营成本。

与软件定义的协同

要充分发挥大容量NVMe SSD的潜力,离不开现代存储架构的配合。软件定义存储(SDS)方案,如Weka、MinIO、Ceph等,其设计理念便是“闪存优先”,能够更好地利用NVMe的并发和带宽能力。

LC9系列支持PCIe 5.0、NVMe 2.0及OCP规范,兼容2.5英寸、E3.L和E3.S多种形态,便于集成到各类SDS架构中,为AI数据预处理、视频分发和CDN等读取密集型应用提供了强大的底层支撑。

大容量NVMe SSD的兴起,并非要完全淘汰HDD,而是为数据规模失控时提供了关键的演进路径。对于构建下一代AI与HPC平台的团队而言,将此类解决方案纳入架构评估,已是确保未来竞争力的必要考量。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章