DeepSeek发布新论文，提出“条件记忆”机制Engram，旨在让MoE模型在处理信息时更高效。该架构通过分离静态知识存储与动态推理，以更低的训练成本实现了更优的长上下文处理性能，为大模型的持续发展提供了可预测的缩放新路径。
智能速览
DeepSeek提出“条件记忆”机制Engram，旨在提升MoE模型效率。
该架构训练计算量减少18%，并在长上下文任务中超越同参数量MoE模型。
Engram通过记忆模块存储静态知识，释放注意力机制专注复杂推理。
增加记忆容量可稳定降低模型损失，提供了新的可预测缩放路径。
DeepSeek预测条件记忆将成为下一代稀疏模型的核心技术。
精华内容
当前的MoE模型在处理重复的静态知识时存在效率瓶颈。DeepSeek的Engram机制，通过引入“条件记忆”，巧妙地分离了知识的存储与推理，为模型的高效运行开辟了新路径。
何为Engram
Engram是一种条件记忆机制，专为解决MoE（混合专家）模型的效率问题而生。它将模型处理的信息分为两类：一类是需要深度思考的复杂推理，另一类是像固定名字、公式这类重复性的事实知识。Engram的做法是为后者建立一个可快速查询的记忆表，避免模型对静态内容进行重复计算，从而将宝贵的算力资源集中在更重要的全局推理任务上。
性能实测
Engram架构的性能提升十分显著。在训练阶段，相较于传统MoE模型，其计算量减少了18%。在关键的32768个token长上下文理解任务（RULER基准测试）中，Engram实现了反超。更重要的是，在推理部署上，一个1000亿参数的记忆表仅让H800 GPU的推理吞吐量下降不到3%，几乎不影响部署效率，证明了其优越的工程实用性。
全新缩放法则
Engram提供了一个可预测的模型性能提升新途径。研究发现，单纯增加记忆槽位的数量，就能持续、稳定地降低模型的验证损失。这意味着未来提升模型能力不再仅仅依赖于粗暴地增加参数和算力，而是可以通过增大记忆容量来获得稳定收益，为AI的可持续发展提供了新思路。
下一代模型基石
DeepSeek在论文摘要中明确提出，“条件记忆”将成为下一代稀疏模型不可或缺的建模原语。这一表态强烈暗示，即将到来的DeepSeek-V4模型极有可能整合Engram机制，从而在知识检索效率和复杂推理能力上实现质的飞跃。这预示着大模型架构正朝着更精细、更高效的方向演进。
DeepSeek的Engram机制不仅是技术上的巧妙创新，更为大模型的发展指明了新方向。它通过“记忆”与“推理”的分工协作，有效解决了当前模型的效率瓶颈。展望未来，这种设计理念是否会成为行业共识，引领新一轮的模型架构革命？
