当前大模型将海量算力浪费在记忆固定知识上。DeepSeek与北京大学提出的Engram架构，通过分离“计算”与“记忆”，让模型学会高效“查字典”。这种设计不仅显著提升了逻辑推理能力，更用廉价内存替代了昂贵显存，为AI模型的未来发展提供了新思路。
智能速览
大模型用“计算”来记忆固定知识是一种资源浪费。
Engram架构通过引入外挂字典，实现“记忆”与“计算”的分离。
该架构能将海量知识存储在廉价内存中，打破显存瓶颈。
实验表明，该架构意外地显著提升了代码和数学等逻辑推理能力。
Engram模型在长文本处理任务中表现优异。
精华内容
如何让大模型更高效地工作？DeepSeek的Engram架构提供了一个颠覆性视角：将记忆与计算解耦，让模型学会“查字典”而非“硬算”。
核心痛点
现有AI模型，无论是Dense还是MoE架构，本质上都在进行“计算”。当被问及“床前明月光的下一句”时，模型仍需通过复杂的矩阵乘法来“计算”出“疑是地上霜”。这种方式将大量参数和算力浪费在记忆固定事实和短语上，导致处理复杂逻辑推理时“脑力”不足。
DeepSeek认为，语言模型应区分两种模式：处理逻辑推理的动态计算，和处理事实知识的静态查找。目前Transformer架构恰恰缺少了后者。
Engram方案
为解决此问题，DeepSeek提出了名为Engram的新模块。它复用了经典的N-gram技术并加以现代化改造。
其工作机制分为三步：首先是极速查表，模型看到文本后，Engram直接在巨大向量表中查找，速度极快且与表大小无关。其次是上下文门控，模型通过一个“开关”判断是否需要融合查到的知识，避免噪声干扰。最后，也是最关键的存算解耦，由于查表过程是确定性的，可将庞大的参数表存于廉价内存，而非昂贵的GPU显存。
反直觉提升
实验结果带来了一些反直觉的发现。一个27B的Engram模型不仅在知识类任务上表现出色，在代码、数学和逻辑推理上的提升幅度甚至更大。
论文分析，这是因为Engram分担了模型前几层“死记硬背”和“模式匹配”的工作，让Transformer深层网络得以专注于处理更复杂的逻辑结构，相当于为大脑减负，从而提升了“智商”。
打破显存瓶颈
在系统层面，该架构的优势更为直接。在“大海捞针”测试中，Engram模型得分从基线的84.2分飙升至97.0分，因为注意力机制能更好地捕捉长距离依赖。
更重要的是，系统测试显示，将一个高达1000亿参数的Engram表完全放在宿主机内存中运行，推理速度的损耗不到3%。这证明了用廉价的内存承担海量知识存储，将昂贵的GPU留给逻辑思考是完全可行的。
DeepSeek的这项研究极具启发性，证明无需一味堆叠GPU算力。通过区分“计算”与“记忆”，MoE（负责计算）+ Engram（负责记忆）的双稀疏架构，或将成为下一代模型的核心方向，并为在消费级硬件上部署超大模型提供了新的可能性。
