当前AI模型因将记忆与计算混为一谈而效率低下。DeepSeek新提出的Engram模块，通过“查算分离”架构，为模型装上一个“记忆外挂”。这一创新不仅在参数和计算量不变的情况下大幅提升了性能，更揭示了提升AI推理能力的新方向，为下一代大模型发展提供了重要思路。
智能速览
当前AI模型将记忆与计算混合处理，存在效率瓶颈。
Engram模块通过“查算分离”，将知识检索速度提升至O(1)。
实验揭示存在U型法则，约20%资源用于记忆效果最佳。
该架构意外地让模型的逻辑推理和代码能力获得更大提升。
通过分担局部匹配，Engram有效提升了模型处理长上下文的能力。
精华内容
DeepSeek的Engram是如何实现这一突破的？其核心在于颠覆了传统架构，将记忆与计算彻底解耦，从而释放出模型的深层推理潜力。
传统模型的困境
当前主流的Transformer架构模型存在一个根本性设计缺陷：它将事实性记忆与逻辑性计算混合处理。无论是回答“法国首都是哪里”这类简单事实，还是编写复杂代码，都需要调动整个庞大的模型进行计算。这种方式不仅浪费了宝贵的计算资源，也迫使模型通过增加参数来“记住”知识，导致模型臃肿且效率低下，就像一个只会死记硬背的书呆子，无法将精力真正用于深度思考。
Engram的查算分离
Engram模块的核心创新是引入了“条件记忆”这一新维度的稀疏性。它将海量的N-gram知识片段存储在一个独立的哈希表中，作为模型的“外置记忆体”。当需要事实性知识时，模型能以O(1)的恒定速度直接“查表”获取，而无需通过复杂的计算来“重建”答案。这种设计将记忆任务与计算任务明确分工：Engram负责快速的“认”，而原有的MoE专家网络则专注于复杂的“想”。
U型法则的启示
实验结果揭示了一个关键的“稀疏分配”U型法则。在总参数和计算量恒定的情况下，模型性能与资源分配方式并非线性关系。研究发现，当将约20%至25%的计算资源分配给Engram记忆模块，其余资源留给MoE计算模块时，模型的整体性能达到最优。这个比例点证明了“结构性卸载”的有效性，即把合适的任务交给合适的模块，能实现1+1>2的效果。
推理能力跃升
最令人意外的发现并非知识记忆的提升，而是模型逻辑推理能力的显著增强。数据显示，在Big-Bench Hard（BBH）推理任务上，模型得分提升了5.0分；在代码生成和数学能力上，HumanEval和MATH基准测试分别提升了3.0分和2.4分。这表明，当模型被从繁琐的知识重建工作中解放出来后，其底层网络就能更专注于复杂推理，相当于在计算量不变的情况下，网络的实际深度得到了增强。
DeepSeek Engram的出现，为大模型架构创新开辟了“查算分离”的新路径。它证明了优化结构比盲目堆砌参数更重要，让算力能真正用在刀刃上。未来，这种“记忆外挂”是否会成为下一代AI模型的标配？它又将如何改变我们与AI的交互方式？
