DeepSeek最新论文提出Engram架构，首次实现大模型的推理与知识存储分离。这项创新不仅解决了传统MoE架构的显存瓶颈问题，还显著提升了模型的推理能力。通过将静态知识存储独立出来，让模型专注于语义理解，为AI发展开辟了新路径。
智能速览
Engram架构实现推理与知识存储分离
知识检索复杂度达O(1)，效率大幅提升
嵌入表可卸载至CPU内存，降低显存占用
早期层专注语义理解，推理能力显著增强
实测BBH推理+5.0，数学能力+2.4，代码能力+3.0
有望成为DeepSeek-V4的核心架构
精华内容
传统大模型将推理能力和知识融合在每个专家中，而DeepSeek提出的Engram架构彻底改变了这一范式。它让MoE专注于动态计算，单独设立Engram模块存储和检索静态知识，实现真正的存算分离。
架构创新
Engram架构的核心思想是将大模型的静态知识和动态推理完全分离。现有的MoE架构负责动态计算和推理任务，而新增的Engram部分专门用于存储和检索大模型的静态知识。这种分离设计类似于《攻壳机动队》中电子脑+外部记忆的概念，让AI系统更加高效和灵活。
检索效率
Engram最突出的优势是其检索性能，复杂度达到O(1)。这意味着模型在接收输入时就能立即确定Engram的索引，无需等待前面层的计算结果。通过预取机制，Engram的嵌入表可以完全卸载到主机内存(CPU RAM)，实现几乎零开销的访问。即使嵌入表达到数十亿参数规模，也不会显著增加GPU显存占用。
推理增强
Engram将主干网络的早期层从静态模式重建任务中解放出来，有效地为复杂推理保留了网络深度。以前模型的早期层要花费大量容量"记住"静态知识，现在Engram接管了这部分工作，早期层可以专注于语义理解。DeepSeek的实测数据显示，BBH推理能力提升5.0，MATH数学能力提升2.4，代码能力提升3.0，效果显著。
DeepSeek的Engram架构为大模型发展提供了新思路，存算分离的设计不仅解决了显存瓶颈，还提升了推理效率。随着DeepSeek-V2引入MLA、V3优化MoE，V4融入Engram似乎已是必然。这种创新架构或将引领AI模型向更高效、更专业的方向发展。
关键评论
DS：都等春节是吧就不在那个时候发，就喜欢突击
最大的帮助是减少一定比例的用来加载模型参数的HBM，这篇paper能帮大厂省个位数百亿分的成本
老早就想在干嘛推理阶段要吃那么多显存，内存和storage那么大为什么不用上
检索这O(1)的时间复杂度是怎么做到的，在数据库里查也得O(lgN)，用hash不可能问题和知识完全匹配啊
