大模型如何平衡推理与知识存储？DeepSeek提出一种名为Engram的新架构，将静态知识从负责推理的MoE网络中分离。这一设计不仅显著提升了推理效率，还在单位参数量下增强了模型的逻辑与数学能力，为下一代大模型架构探索了新方向。
智能速览
Engram架构将大模型的推理能力与静态知识存储分离。
模型早期层专注语义理解，有效加深推理网络深度。
实测BBH推理+5.0, MATH数学+2.4, 代码能力+3.0。
精华内容
这一名为Engram的架构，其核心创新在于将计算与记忆解耦，带来了推理效率和模型能力的双重飞跃。具体来看其实现原理与带来的改变。
架构革新
当前主流的MoE架构将推理与知识融合在专家网络中。而Engram架构提出了一种“电子脑+外部记忆”的分离式方案。它让MoE网络专注于动态计算与推理，同时建立一个独立的Engram模块，专门用于存储和检索海量的静态知识。这种解耦设计，让模型结构更像一个高效的认知系统。
推理提速
Engram最突出的优势在于其检索性能，复杂度为O(1)。这意味着在模型接收输入时，知识索引可以被立即确定，无需等待前层计算结果。因此，庞大的Engram嵌入表可以完全卸载到主机内存（CPU RAM）中，通过预取机制实现近乎零开销的访问。即便知识库规模达到数十亿参数，也不会显著增加GPU的显存压力。
能力增强
通过将静态知识存储任务外包给Engram，模型主干网络的早期层从繁重的记忆工作中解放出来。这些层可以更专注于深度语义理解，相当于在不增加总参数量的前提下，为复杂的推理任务“加深”了网络深度。DeepSeek的实测数据证明了这一点：BBH推理能力提升5.0，MATH数学能力提升2.4，代码能力提升3.0。
未来展望
回顾DeepSeek的技术演进路线，从V2引入MLA注意力机制，到V3优化MoE负载均衡，每一步都在为效率和能力突破铺路。Engram架构的提出，几乎预示了其下一代模型DeepSeek-V4的整合方向。这种架构设计有望成为未来大模型发展的重要参考，令人期待其实际落地后的表现。
这种“计算与记忆分离”的思路，可能重塑大模型的发展路径。它不仅解决了当下大模型的显存瓶颈，更释放了推理能力的潜力。未来，这种架构是否会成为行业的新标准，并催生出更智能、更高效的应用？
关键评论
有用户认为，新架构在提升速度的同时，模型体积也能缩小，并期待能自主向Engram中添加知识。
从行业角度看，该设计能大幅减少对高带宽内存（HBM）的依赖，为厂商节省显著成本。
也有声音提醒，推理速度与知识查询效率的提升，并不直接等同于模型逻辑正确性的增强。
