内蒙古和林格尔新区，一座占地 1402 亩的数据中心园区里，约 2 万张 AI 加速卡正在运行。
中国移动智算中心（呼和浩特）节点给出的数字是：线性加速比 90% 以上，最长无中断 22 天。
这套系统最怕的，是“任何一张卡的故障、任何一次数据传输的延迟”。新华网
从千卡到万卡，拼的不只是卡数，还有系统架构、网络互联、存储访问。经济参考报
10 月 29 日的 2026 数据存储产业大会上，华为副总裁袁远给了另一个数字：智算中心 GPU 平均利用率约 30%。智东西
约 70% 的算力没有形成有效价值。企业数据资源开发率约 28.4%，中文语料占全球约 4.8%。
Meta 的训练集群里，数十万块 GPU 按 batch 取数。每块卡处理完当前 batch，dataloader 就去预取下一批。只要有一块卡读到慢数据，这一步就会被拖住，后面所有卡一起等。
旧的 BLOB 存储要连查三层元数据，跨地域查询累计几百毫秒并不罕见。API Server 还要兼做数据代理，把数据拉出来再转发。
Meta 拆掉代理，让客户端 SDK 直接读 Tectonic；元数据改成 O(1) 的 ReadPlan；再用内存、主机 Flash、区域 Flash、全球 HDD 做分层缓存。
跨地域数据加载从 150 分钟降到 10 分钟，P99 从 61 小时降到 77 分钟，分布式缓存命中率 80%。这不是换了一块更快的 SSD，Meta 改的是数据从存储到 GPU 的整条路。知乎
盘早就不慢了。NVMe 队列深度能到 64K，单队列并发 64K 条命令，直接走 PCIe。问题在盘外面：SAS/FC 的带宽和延迟跟不上 NVMe，盘等网络的情况越来越多。
NVMe-oF 把 64 字节的 NVMe 命令搬到网络上，再把协议栈卸载到网卡。控制走小命令，数据走 RDMA 大搬运，CPU 尽量不参与。
FC 的代际也没停。64GFC 用 28.9 GBaud PAM4，是新建全闪、FC-NVMe SAN 最容易做端到端 HCL 验证的一档。
128GFC 的交换机、光模块已经商用，但主流服务器 HBA 还以单端口 64G 为主；256GFC 的规范仍在制定。
别看到“128G”就当成默认采购基线。混合代际里，老 HBA、阵列 Target 口、交换机软件、光模块，都可能把链路协商回 32G。
32G 和 64G 差多少？StorageReview 登过一组 Broadcom 赞助的验证：主机、阵列、数据集不变，只换 FC 链路，IVF_FLAT 检索的吞吐和尾延迟，64G 都优于 32G。知乎
但这组结果不能直接套到所有向量库。IVF_FLAT 会读取整块分区，本来就吃带宽；换成按索引逐跳查询的路径，瓶颈可能变成随机读延迟。
推理这边，存储网络开始搬另一种东西：KV Cache。
在 16 卡 H800 的测试里，32K tokens 的 KV Cache 是 4.5 GB。Mooncake 用 RDMA 直传，控制面与数据面分开，Master 只调度，不搬数据。
蚂蚁集团的生产评估里，KV Cache 命中时，TTFT 降低 84%。 RDMA 传输只占 TTFT 的 4.2%。这时，存储网络传的已经不是文件，是模型的“记忆”。知乎
华为给出的方向更彻底。9 月发布的 Peerium 架构里，灵衢是一条开放总线，把 CPU、NPU、内存、SSD、网卡、交换机连成平等互联的整体。第一财经
存储不再是机柜后面那排盒子，而是总线上的一等公民。
回到验收，先量链路利用率和队列等待，别只看 IOPS 和容量；混合代际查 HCL，别让 64G 协商回 32G。
端口 Up 不等于存储可达。物理层、Fabric 登录、zoning、LUN masking、多路径，得逐层验。
缓存和分层也要算进网络设计。Meta 的 80% 命中率不是白来的。
GPU 平均只跑三成，不一定都是存储网络的锅。但如果要扩容，先看看路。
