张大妈

Engram架构引爆存储变革,DRAM与SSD迎新机遇

源自新浪微博:爱股轻骑兵

01-26 14:26

DeepSeek提出的Engram架构,通过解耦静态知识与动态计算,为大模型开辟了全新的存储路径。它将庞大知识库从昂贵的GPU显存卸载至DDR5与SSD,不仅大幅降低成本,也为模型规模扩展提供了新思路,其工程价值与产业影响值得深入探讨。

Engram架构引爆存储变革,DRAM与SSD迎新机遇智能速览

  • Engram架构实现“静态知识-动态计算”解耦,重塑大模型存储需求。

  • 万亿级记忆表迁移至DDR5内存与NVMe SSD,实现微秒级访问。

  • 开辟MoE之外的“第二稀疏轴”,未来走向“条件计算+条件记忆”双轴协同。

  • 存储卸载让千亿参数嵌入表可用廉价CPU内存存储,显著降低硬件成本。

  • 异步预取技术通过PCIe通道实现计算与通信完全重叠,提升推理效率。

Engram架构引爆存储变革,DRAM与SSD迎新机遇精华内容

Engram架构的核心价值在于重塑大模型的资源分配逻辑,将存储与计算的边界重新划分,从而带来了显著的工程与经济效益。

架构革新

Engram架构的核心创新在于实现了“静态知识”与“动态计算”的解耦。传统大模型将知识参数与计算任务紧密耦合于GPU的HBM显存中,导致显存成本高昂且成为瓶颈。

Engram则将相对不变的万亿级静态知识表,从GPU HBM中剥离出来,迁移至容量更大、成本更低的DDR5内存与NVMe SSD中。通过哈希精确检索与确定性预取技术,确保了知识的访问速度达到微秒级别,从而在保持效率的同时,极大地优化了存储结构。

第二稀疏轴

当前大模型的主流稀疏化路径是混合专家模型,它通过条件计算来激活部分网络,被视为第一稀疏轴。而Engram架构提出了“条件记忆”的概念,开辟了第二稀疏轴。

这意味着未来的大模型将不再是单一的条件计算,而是走向“条件计算+条件记忆”的双轴协同模式。模型在推理时,不仅动态选择计算路径,还根据输入条件动态地从庞大的记忆库中检索相关知识,实现了更精细、更高效的资源调度。

工程价值

Engram架构的确定性查找特性带来了两大关键工程价值:存储卸载与异步预取。

首先是存储卸载,原本需要占用昂贵GPU显存的千亿参数Engram嵌入表,现在可以完全存储在廉价的CPU内存(DRAM)中,这直接降低了大模型的部署成本。

其次是异步预取,在GPU计算当前网络层时,CPU可以通过PCIe通道提前将下一层所需的记忆向量预取过来,使得数据通信与GPU计算完全重叠,隐藏了I/O延迟,显著提升了整体推理吞吐率。

产业影响

Engram架构的普及将直接推动特定存储需求的增长,从而利好相关产业链。

存储卸载使得DRAM和NVMe SSD的需求量将大幅提升,为长鑫存储、兆易创新等存储芯片厂商以及德明利、佰维存储等模组厂商带来新的增长点。

同时,为了支持更大容量、更高带宽的内存与更高效的CPU-GPU数据交换,内存接口芯片与CXL、PCIe等互连技术也面临升级机遇,相关企业如澜起科技、聚辰股份等值得关注。

Engram架构的出现,不仅是一次技术上的突破,更预示着大模型硬件生态的变革。随着“条件记忆”理念的普及,存储产业将迎来结构性增长机遇,未来AI基础设施的形态或将被重新定义。

精选参考来源

【DeepSeek论文解读:存储重要性凸显(国联民生证券)】 DeepSeek发布了论文,题为《Conditional Memory via Scalable Lookup:A New Axis of Sparsity for Large Language Models》,我们研读之后发现,论文重点强调了Engram架构下存储的重要性,我们在此解读如下: Engram 架构凭借 “静态知识 - 动态计算” 解耦的核心创新,重塑了大模型存储需求格局。它让 GPU HBM 从 “存算一体” 的重压中解脱,专攻高价值推理任务;万亿级记忆表则迁移至 DDR5 内存与 NVMe SSD,依托哈希精确检索与确定性预取技术,实现微秒级访问。 我们认为,Engram开辟了MoE之外的“第二稀疏轴”,未来大模型架构将从“单一条件计算”走向“条件计算+条件记忆”双轴协同。Engram的确定性查找特性带来关键工程价值: 存储卸载:千亿参数的Engram嵌入表可存于廉价CPU内存(DRAM),而非昂贵GPU显存(HBM); 异步预取:GPU计算前序层时,CPU通过PCIe通道异步预取后续层所需记忆向量,通信与计算完全重叠 投资建议:关注Engram架构下存储的需求增长 DRAM、SSD受益存储卸载,建议关注: 长鑫存储、兆易创新、普冉股份 德明利、佰维存储、江波龙、香农芯创 内存接口芯片升级,建议关注:澜起科技、聚辰股份 CXL 、PCIe 互连,建议关注:澜起科技、万通智控
内容由AI生成

精选参考来源

0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章