DeepSeek提出的Engram架构,通过解耦静态知识与动态计算,为大模型开辟了全新的存储路径。它将庞大知识库从昂贵的GPU显存卸载至DDR5与SSD,不仅大幅降低成本,也为模型规模扩展提供了新思路,其工程价值与产业影响值得深入探讨。
智能速览
Engram架构实现“静态知识-动态计算”解耦,重塑大模型存储需求。
万亿级记忆表迁移至DDR5内存与NVMe SSD,实现微秒级访问。
开辟MoE之外的“第二稀疏轴”,未来走向“条件计算+条件记忆”双轴协同。
存储卸载让千亿参数嵌入表可用廉价CPU内存存储,显著降低硬件成本。
异步预取技术通过PCIe通道实现计算与通信完全重叠,提升推理效率。
精华内容
Engram架构的核心价值在于重塑大模型的资源分配逻辑,将存储与计算的边界重新划分,从而带来了显著的工程与经济效益。
架构革新
Engram架构的核心创新在于实现了“静态知识”与“动态计算”的解耦。传统大模型将知识参数与计算任务紧密耦合于GPU的HBM显存中,导致显存成本高昂且成为瓶颈。
Engram则将相对不变的万亿级静态知识表,从GPU HBM中剥离出来,迁移至容量更大、成本更低的DDR5内存与NVMe SSD中。通过哈希精确检索与确定性预取技术,确保了知识的访问速度达到微秒级别,从而在保持效率的同时,极大地优化了存储结构。
第二稀疏轴
当前大模型的主流稀疏化路径是混合专家模型,它通过条件计算来激活部分网络,被视为第一稀疏轴。而Engram架构提出了“条件记忆”的概念,开辟了第二稀疏轴。
这意味着未来的大模型将不再是单一的条件计算,而是走向“条件计算+条件记忆”的双轴协同模式。模型在推理时,不仅动态选择计算路径,还根据输入条件动态地从庞大的记忆库中检索相关知识,实现了更精细、更高效的资源调度。
工程价值
Engram架构的确定性查找特性带来了两大关键工程价值:存储卸载与异步预取。
首先是存储卸载,原本需要占用昂贵GPU显存的千亿参数Engram嵌入表,现在可以完全存储在廉价的CPU内存(DRAM)中,这直接降低了大模型的部署成本。
其次是异步预取,在GPU计算当前网络层时,CPU可以通过PCIe通道提前将下一层所需的记忆向量预取过来,使得数据通信与GPU计算完全重叠,隐藏了I/O延迟,显著提升了整体推理吞吐率。
产业影响
Engram架构的普及将直接推动特定存储需求的增长,从而利好相关产业链。
存储卸载使得DRAM和NVMe SSD的需求量将大幅提升,为长鑫存储、兆易创新等存储芯片厂商以及德明利、佰维存储等模组厂商带来新的增长点。
同时,为了支持更大容量、更高带宽的内存与更高效的CPU-GPU数据交换,内存接口芯片与CXL、PCIe等互连技术也面临升级机遇,相关企业如澜起科技、聚辰股份等值得关注。
Engram架构的出现,不仅是一次技术上的突破,更预示着大模型硬件生态的变革。随着“条件记忆”理念的普及,存储产业将迎来结构性增长机遇,未来AI基础设施的形态或将被重新定义。