弄懂分层存储，看懂AI服务器的数据运转逻辑

大多数人都简单认为硬盘可以处理全部的数据存储，可是AI服务器的存储并不是单一设备，而是一套完整的分层体系，硬件有着明确分工。整体的规律十分清晰，硬件距离CPU、GPU这类运算核心越近，数据读写速度越快，硬件单价也就越高；离运算核心越远，储存容量越大，单位存储成本越低，以此平衡速度、容量和开销。

整套系统从上至下一共四层硬件。紧贴着GPU的是HBM高带宽内存，拥有极致的数据传输速度，用来实时传输模型参数、运算数据，保障GPU不间断运算。它的短板是整体容量偏小，但是带宽性能极强，是大模型训练、推理环节必不可少的硬件。

往下一层就是DRAM，也就是大家熟知的运行内存，承担系统运行、数据缓存、临时运算结果储存的工作，读写效率很高，缺点是断电之后所有临时数据都会直接丢失，不能用来长期保存文件。

SSD固态硬盘处在第三层级，储存空间更大，读写效率依旧出色，用来存放训练数据集、完整模型文件、检查节点和日常高频调用的数据，兼顾速度和储存体量。

最底层是HDD机械硬盘，读写速度最慢，但是可以做到超大容量，硬件价格低廉，专门用来存放长期不用的冷数据、历史资料、备份文件，完成长久归档储存。

很多人会产生两个疑问，为什么不用全部换成HBM、DRAM，或是全盘只用机械硬盘。

HBM和DRAM的硬件定价很高，很难做成超大的储存容量，全部部署的成本会难以承受。如果全部只用机械硬盘，读取速度跟不上GPU运算节奏，算力强大的处理器只能被动等待数据输入，昂贵的算力资源白白浪费。两种极端方案都不可行，分层存储模式就是最优的取舍方式。

可以用厨房的例子通俗理解整套分工。HBM就是灶台，即时取用数据马上运算；DRAM相当于备菜台，临时周转处理数据；SSD是日常仓库，收纳经常调用的素材；HDD‑机械硬盘就是后院的大型库房，用来囤积大量长期不用的资料。

高效运行的AI系统，不会一股脑把所有数据全部放在高速硬件里，而是依据数据调用频率分配储存位置，高频的数据放在速度更快的硬件，冷数据存放在大容量硬盘，做到硬件各司其职。

HBM保障运算速度，DRAM负责数据周转，SSD承担高频文件存储，HDD完成低成本大容量保存，依靠整套硬件协同，大模型才能稳定高效运行。

可以说说之前有没有分清过内存和硬盘各自的作用。

#Ai服务器 #储存芯片 #人工智能 #算力 #大模型 #数码科普