张大妈

AI浪潮下半场:内存成新瓶颈

源自小红薯:小林 | 魔都创业ing🌆

02-04 23:42

随着AI模型规模激增,算力之外的内存瓶颈日益凸显。此视角揭示了提升AI效率的关键在于解决内存问题,而非单纯堆砌GPU,为理解行业下一步投资重心提供了全新思路。

AI浪潮下半场:内存成新瓶颈智能速览

  • AI模型规模增长远超内存发展速度。

  • GPU利用率因内存瓶颈受限,仅约25%。

  • 提升内存容量是提升AI算力效率的关键。

  • 科技巨头正为GPU部署更多HBM和闪存。

  • 行业支出正从计算能力转向内存。

AI浪潮下半场:内存成新瓶颈精华内容

2022年市场聚焦GPU,但真正的瓶颈早已潜伏,如今它终于浮出水面。

内存瓶颈浮现

AI模型大小呈指数级增长,而内存容量的发展曲线却近乎停滞。这种不匹配导致GPU因缺乏数据而饥饿,其利用率普遍被压制在25%左右。如果能解决数据供给问题,将利用率提升至50%,等于在不增加硬件的情况下,将AI算力产出翻倍,这凸显了内存问题的严重性。

投资重心转移

过去两年,投资者将目光集中在英伟达(NVDA)主导的算力上,视其为唯一瓶颈。然而,自2019年以来,内存问题就已存在,只是直到模型规模足够庞大时才彻底暴露。现在,谷歌、亚马逊等巨头正积极为每个加速器配置更多的高速内存和闪存,确保其庞大AI集群的稳定运行。

受益公司分析

在这一轮投资转向中,美光科技(MU)和闪迪(SNDK)被视为核心受益者。美光是高速GPU所需HBM和先进DRAM的关键供应商,直接参与解决内存带宽问题。而闪迪则专注于提供AI数据中心用于模型检查点和快速读写的海量闪存存储,解决了数据本地化的需求。

AI基础设施的建设已进入新阶段,优化现有算力成为比单纯扩张更重要的议题。内存作为性能倍增器的价值将被重估,这是否预示着科技投资逻辑的又一次范式转移?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章