算力增长80倍,内存带宽只涨17倍:AI基础设施的内存墙有多高
花几十万买了高端GPU,实际跑起来却发现算力经常闲置——这不是某个企业的个案。根据多方数据,国内智算中心GPU平均利用率长期不足30%,部分新建集群甚至低至10%。与此同时,行业里一个越来越受关注的概念正在解释这个现象:内存墙。GPU算力再强,如果数据搬运跟不上,计算单元就只能空等。这篇文章把内存墙是什么、为什么成了AI基础设施的核心瓶颈、以及行业正在怎么解决这个问题,逐一讲清楚。1
GPU越来越强,为什么算力反而在空转?
算力利用率低的根因,不在计算本身,而在于数据搬运效率与计算速度之间的严重失衡。AI大模型推理时,GPU需要反复读取数百亿参数的模型权重和海量KV Cache数据,计算单元完成一次运算后,往往要等上数倍时间才能拿到下一批数据。素材中用一个具体数字说明了这个差距的夸张程度:GPU算力较2012年增长了80倍,而显存带宽仅增长17倍,两者性能比率已经达到600:1。2
这种失衡在推理场景下尤为突出。训练阶段是计算密集型任务,GPU能较好发挥;但推理阶段是典型的访存密集型任务,芯片绝大多数时间都在读取数据、搬运缓存,真正用于AI计算的时间极少。一篇分析指出,单次700亿参数模型的推理需要在内存与计算单元之间传输超过100GB的数据,但对应的计算量仅需数十TFLOPS,GPU计算单元常处于等待数据的空置状态,利用率甚至不足1%。内存墙的本质,是计算速度和数据供给速度之间的鸿沟正在越拉越大。2
内存墙之下,行业在用什么招数应对?
第二条路是改变数据搬运的方式。DeepSeek开源的DSpark框架采用了“推测解码”技术:用一个轻量级草稿模型预先生成候选token,再由主模型一次性并行验证,把原本需要多次内存读取的操作压缩为单次。实测可将GPU计算单元利用率从不足1%提升至90%以上,单用户推理速度最高提升85%。这种“内存带宽换算力”的思路,本质上是把内存访问瓶颈转移为计算吞吐优势。2
高速互联:让更多GPU真正协同起来
内存墙不只存在于单卡内部,GPU之间的数据传输同样是瓶颈。万卡级别的集群中,如果网络互联效率不足,大量算力会消耗在等待数据同步上。实测数据显示,传统100G以太网组网下,多卡集群通信延迟拉高3-8倍,算力硬件实际利用率不足45%。叶脊网络拓扑(Spine-Leaf架构)替代传统三层网络后,所有服务器仅经过两级交换机即可完成数据交互,全网最大跳数固定为2跳,集群横向扩容至2万张算力卡时,带宽和时延波动不超过5%。6
在互联硬件层面,400G硅光光模块和有源铜缆方案也在快速迭代。有源铜缆(AEC)支持5米以上传输距离,单端功耗15W;另一种方案ACC通过线性重驱动技术,传输距离可达4米,单端功耗仅2.5W,无额外链路延迟。在超大规模集群中,互连速率正在从224Gbps向448Gbps演进,以支撑未来十年AI基础设施的持续扩张。7
从“买多少卡”到“用好每张卡”
行业正在发生一个微妙的转向。多方信息显示,资本开支的投入重心正在从硬件采购转向系统效率优化。一个被反复引用的公式是:实际产出 = 标称算力 × 效能系数 × 满载系数。由于集群适配、网络瓶颈和调度匹配问题,效能系数平均只有0.6,满载系数平均只有0.5,两个系数相乘后,100%的标称算力最终有效产出仅剩30%左右。这意味着单纯堆硬件边际效益递减,而提升利用效率的空间巨大。8
对正在采购或建设智算中心的企业而言,几个维度的参考信息值得关注:一是高端GPU(H100类)目前依然紧缺,租赁价格稳定在5.5-6万元/月,交付排期较长;二是中低端通用算力供给过剩,出租率仅28%,价格较2025年下跌超40%,利用率改善空间有限的情况下投资回报周期会拉长;三是如果关注长期效率提升,围绕内存扩展、高速互联、集群调度软件的投入,可能比单纯增加算力卡数量带来更高的实际产出增益。8
当前文章无评论,是时候发表评论了