内存不够,AI就得“从头算”!美光高管:我们跟不上内存需求了,全球建厂5座还不够
美光科技数据中心业务负责人近日指出,AI正推动内存行业从传统的周期性模式转向可持续增长阶段。在AI推理环节,内存已突破其传统配角的角色,成为提升GPU算力利用率的关键战略资产。随着上下文窗口扩大和并发用户激增,内存容量不足将导致计算量呈指数级增长,而充足的内存供应则能实现算力的平方级释放。目前,全球晶圆厂产能已无法满足这一爆炸式需求,行业正面临严峻的供应链挑战。
01AI推理的“内存墙”原理
AI推理过程主要分为预填充(prefill)和解码(decode)两个阶段。在解码阶段,模型需要不断调用此前计算产生的KV缓存(KV Cache)来生成准确答案。这一机制对内存容量提出了极高要求,形成了所谓的“内存墙”。
内存容量对计算效率的影响
线性计算(高效)
保存上一轮计算状态(KV缓存)
每一轮仅需增加线性计算量
GPU算力利用率提升至平方倍


指数级重算(低效)
无法存储历史上下文,需丢弃缓存
每一轮计算量等于此前所有轮次总和
算力需求呈指数级膨胀,严重浪费GPU资源
导致KV缓存需求膨胀的核心驱动因素包括:上下文长度以每年30倍的速度增长、模型参数量持续扩大,以及并发使用AI的用户数量激增。这三者叠加,使得每块GPU所需的内存容量急剧攀升。
02从HBM到SSD的五层存储链
- 第一层:高带宽内存(HBM)
紧贴GPU,容量通常在10至100GB之间,速度最快,但容量最小,主要用于存放最热的数据。 - 第二层:主内存(Main Memory)
连接至CPU(如英伟达Grace CPU),容量通常是HBM的4至20倍,速度较慢,距离GPU更远。 - 第三层:扩展内存(Expansion Memory)
通过光纤连接独立内存模块,目前尚未大规模量产,是业界关注的高容量扩展方向。 - 第四层:上下文内存存储(Context Memory Storage)
利用SSD存储KV缓存。虽然延迟较高、带宽较低,但容量可达HBM的1000倍。 - 第五层:数据湖
位于数据中心底层,由海量SSD构成,以EB(艾字节)为单位,用于存储全量数据。
03技术突破:HBM4与245TB SSD
| 技术产品 | 核心指标 | 解决的问题 |
|---|---|---|
| HBM4 | 带宽是上一代HBM3e的两倍以上 | 突破内存带宽瓶颈,确保数据以最快速度送达GPU,提升算力利用率。 |
| 245TB SSD | 体积仅比扑克牌稍大,容量是目前主流(30TB)硬盘的8倍多 | 大幅减少网络连接、电源、散热等配套设施,将存储占地面积压缩逾80%,显著降低功耗。 |
美光针对AI数据中心的两款核心产品
随着AI从训练时代转向推理时代,以及Agentic AI和Physical AI的逐步落地,市场对存储性能和容量的需求将持续攀升。目前,整个存储层级从上到下均处于供不应求的状态,任何性能提升都会被迅速部署消耗。
04全球产能扩建现状
面对需求爆发,美光坦言全球晶圆厂产能已严重滞后。目前,公司正在全球同步推进五座晶圆厂的建设与扩建,以缓解洁净室空间不足的困境。
- 2024年
- 2024年
尽管美光及英特尔、英伟达、台积电等行业巨头均在全力扩产,但短期内受限于建筑施工周期,产能满负荷状况仍将持续。业界普遍认为,AI带来的变革刚刚触及表面,存储行业正迈入一个长期可持续增长的新周期。
当前文章无评论,是时候发表评论了