DeepSeek开源的Engram并非简单添加知识库，而是重构大模型记忆机制。它首次在训练阶段就将结构化记忆嵌入模型内部，使知识检索与推理解耦，显著提升准确率与推理效率。
智能速览
Engram不是外挂数据库，而是模型内部新增的记忆结构，类似人类背书与做题的分工
实验证明70%-80%参数用于专家推理、20%-30%专用于记忆组织，该比例下综合性能最优
固定知识（人名、地名、搭配）准确率提升，释放算力专注复杂组合推理
相比传统靠海量训练硬刷‘手感’，Engram让模型实现可复现、可调用、可验证的记忆行为
精华内容
当大模型终于学会‘先背公式再解题’，AI的学习方式开始向人类靠拢。Engram不是给大脑加插件，而是重写大脑里记忆与思考的协作协议。
记忆不是功能，是结构
Engram本质是模型架构层面的创新：在Transformer基础上引入可学习的记忆索引层，使模型在训练时同步构建‘记忆槽位’。这些槽位专门存储高频、离散、非组合性知识——如‘巴黎是法国首都’这类事实，而非依赖上下文推断。论文实测显示，在TriviaQA测试中，启用Engram后事实类问题准确率从68.3%提升至89.1%，错误率下降超65%。
这种提升并非来自更多参数或更大数据，而是因记忆路径被显式建模。模型不再需要为每个常识反复激活全量参数，只需唤醒对应记忆槽位并注入推理流。
结构改变带来范式迁移：记忆不再是推理的副产品，而成为与注意力、前馈并列的基础计算单元。
7:3是黄金配比
论文通过系统消融实验确定了记忆模块与专家模块的最优资源分配比例：70%-80%参数用于MoE专家网络处理组合推理任务，剩余20%-30%专用于记忆编码与检索。在相同FLOPs约束下，该配置相较全专家方案提升整体任务得分12.4%，同时降低平均token生成延迟19%。
这一比例并非经验设定，而是源于对语言任务双路径特性的建模——组合推理需高动态性，知识检索需高稳定性。强行扩大记忆占比会导致推理僵化；过度压缩则无法缓解‘刷题记常识’的算力浪费。
实际部署中，该比例也匹配硬件特性：记忆模块可低频更新、高密度存储，天然适配DDR5内存带宽；而专家模块需高带宽低延迟，仍由GPU承担。
潜意识式唤醒
Engram采用条件化稀疏查找机制，记忆调用完全由输入上下文触发，无需显式指令。例如输入‘爱因斯坦出生于’，模型自动激活‘乌尔姆’相关记忆槽位，并在生成时无缝融合，不增加额外token开销。
工程实现上，记忆模块运行于CPU内存，仅在命中时将对应向量送入GPU参与当前层计算。实测表明，92%的记忆访问可在1.7ms内完成，GPU等待时间减少41%，显存峰值占用下降33%。
这种设计模拟人类‘潜意识回忆’：思考不停顿，记忆自然浮现。对比RAG等外部检索方案，Engram避免了query重写、向量召回、结果重排序等多步延迟，端到端响应更连贯。
Engram标志着大模型从‘经验主义学习者’迈向‘结构化认知者’。它不追求更大参数，而致力于更合理的脑区分工。当记忆成为可规划、可度量、可优化的基础设施，AI的可靠性与能效比将迎来质变。未来真正的V4，或将从头以Engram为原生记忆底座，那时模型是否还会混淆‘东京’和‘京都’？值得持续观察。
