DeepSeek Engram架构 | 在记忆和推理之间如何找到平衡点

大模型推理能力虽强，但在处理客观事实时往往效率低下。DeepSeek Engram架构提出了一种“条件记忆”机制，旨在为模型注入先验知识，并在静态记忆与动态推理之间找到最佳平衡点，为优化LLM推理成本提供了新思路。

智能速览

• Engram架构结合了静态N-gram记忆与动态MoE推理

• 通过门控机制筛选相关性高的先验知识，类似注意力机制

• 实验表明25%记忆与75%推理的混合比例效果最优

• 该架构能加速预测收敛，浅层即可达到深层推理状态

• 事实知识任务显著提升，阅读理解任务几乎无影响

精华内容

如何让大模型不再“傻算”常识？DeepSeek Engram通过引入记忆痕迹，尝试解耦计算与知识存储。

推理还是记忆

现有大语言模型在回答“戴安娜王妃”等常识问题时，仍会通过层层推理得出结论，虽然逻辑自洽但效率极低。这些客观事实本应从记忆库直接读取。DeepSeek Engram的核心目标，就是将先验知识注入模型，减少不必要的实时推理计算，提升处理事实性信息的效率。

架构设计原理

Engram借鉴了N-gram算法和MoE混合专家模型。它只在特定层级插入，输入原始Token经过N-gram和Hash得到离散ID并转化为Embedding。通过计算静态先验与动态推理的点积作为门控信号，只保留与当前上下文高度相关的记忆，实现了记忆与推理的丝滑融合。

寻找最佳比例

实验数据显示，记忆与推理的参数分配呈现U型曲线。纯MoE全靠推理效率低，纯Engram全靠记忆太死板。最佳平衡点约为25%的Engram（记忆）搭配75%的MoE（推理），这一比例在多项指标上实现了大面积涨点，体现了“中庸”的设计哲学。

效率提升验证

消融实验证实，移除Engram对阅读理解影响极小，但对事实知识打击巨大。内部状态分析表明，加入Engram后，模型浅层的内部状态已接近纯MoE模型的深层状态，这意味着模型有效增加了深度，加速了预测收敛过程。

DeepSeek Engram不仅提出了一种更优的算法，更开启了离线知识注入的新路径。通过N-gram载体和门控阀门，模型能够更高效地处理客观知识，这对于降低大模型推理成本、优化系统设计具有重要的参考价值。