随着AI模型日益复杂，推理效率成为关键瓶颈。英伟达推出的Vera Rubin平台及其核心组件BlueField-4 DPU，通过构建一套名为ICMSP的专用推理上下文存储架构，旨在分离并加速KV Cache访问，从而显著提升GPU利用率，为大规模AI部署提供了新的解决思路。
智能速览
英伟达推出ICMSP，一套专为KV Cache优化的存储基础架构。
BlueField-4 DPU是该架构的核心，负责加速KV I/O与控制平面。
系统新增G3.5层，作为AI Pod的长期记忆，提供高带宽低延迟的闪存访问。
一套Vera Rubin SuperPod可集成9.6PB的专用上下文内存，服务于1152个GPU。
该架构通过Spectrum-X以太网和NVMe-oF协议，实现高效的数据传输。
多家存储合作伙伴将基于英伟达参考设计，构建并交付该存储基础设施。
精华内容
为了解决AI推理中GPU因等待上下文数据而闲置的问题，英伟达设计了一套全新的存储基础设施，其核心便是BlueField-4 DPU和专用的ICMSP架构。
专用架构：ICMSP与G3.5层
英伟达的推理上下文内存存储平台（ICMSP）建立了一个新的G3.5层。这一层是以太网连接的闪存层，专为KV缓存优化，充当AI基础设施Pod的长期记忆。它的容量足以同时容纳多个代理共享的、不断演变的上下文，并且足够接近GPU，可以频繁地将上下文预加载回GPU和主机内存，而不会导致解码中断，从而提升了GPU的利用效率。
BlueField-4的核心作用
BlueField-4 DPU在整个架构中扮演着关键角色。它被用于加速KV I/O和控制平面操作，覆盖了从Rubin计算节点上的DPU到ICMS闪存盒中的控制器。这种设计降低了对主机CPU的依赖，并最大限度地减少了数据序列化和主机内存复制带来的开销。每个BlueField-4单元都集成了ConnectX-9技术，为提供可预测、低延迟和高带宽的RDMA连接奠定了基础。
惊人的存储规模与设计
Vera Rubin SuperPod的存储规模十分可观。其BF4机架包含16个（2U）存储机箱，每个机箱有4个BlueField-4存储单元，总计64个BF4。每个单元背后连接150TB的NVMe SSD，使得总容量达到9600TB。这套基础设施的用途非常专一，唯一目的就是为推理上下文内存提供服务，不做其他任何事，这使其效率远高于传统共享存储。
软硬件协同与生态合作
该架构的成功依赖于软硬件的紧密协同。Spectrum-X以太网提供AI优化的RDMA架构，确保低延迟连接。系统需要一种专门的FTL（闪存转换层）软件/固件，将KV cache内存寻址转换为基于存储的寻址。同时，英伟达联合了戴尔、HPE、Pure Storage等多家存储合作伙伴，他们将根据英伟达的参考设计来构建和交付存储基础设施，并提供更高层G4的数据服务，如快照和复制。
英伟达通过ICMSP和BlueField-4，正试图重新定义AI基础设施的边界，将存储、网络和计算更紧密地结合。这一专用化趋势能否成为行业标准？它又将如何影响未来AI应用的部署成本与效率？值得持续关注。
