DeepSeek最新开源的Engram模块，通过引入可扩展的查找式记忆结构，为大模型提供了区别于传统Transformer与MoE的全新稀疏性维度。这项技术创新有效解决了当前主流模型在处理静态知识记忆和复杂推理时的结构性低效问题，有望成为DeepSeek下一代模型的核心技术基础。
智能速览
Engram模块通过O(1)查找式记忆机制，实现常数时间的模式检索
与传统Transformer和MoE架构不同，Engram提供条件记忆而非条件计算
实验显示在27B参数模型上，知识、推理、代码与数学任务均取得显著提升
架构设计将静态记忆处理转移到早期层，释放后续层计算深度用于复杂推理
技术机制支持大规模静态记忆脱离GPU存储限制，推理阶段保持低开销
精华内容
Engram架构的核心突破在于将传统模型的重建式记忆机制转变为查找式记忆，通过这一根本性变革，大幅提升了大模型的计算效率。
技术原理
Engram模块的核心机制是基于现代化哈希N-Gram嵌入的O(1)查找式记忆。模块会对输入Token序列进行N-Gram切片，并通过多头哈希映射到一个规模可扩展的静态记忆表中，实现常数时间的检索。
这种查找与模型规模无关，即便记忆表扩展至百亿级参数，检索成本仍保持稳定。与MoE的条件计算不同，Engram提供的是条件记忆，模块会根据当前上下文隐向量决定是否启用查找结果。
架构优势
当前主流大模型在处理两类任务时存在结构性低效：依赖固定知识的查表式记忆，以及复杂推理与组合计算。传统Transformer均需通过多层注意力与MLP重建这些静态模式，导致计算资源被大量消耗在重复构造已知模式上。
Engram通过门控机制与主干网络融合，通常被放置在模型早期层，承担模式重建职责，从而释放后续层的计算深度用于复杂推理。这种设计让大规模静态记忆得以脱离GPU存储限制。
实验结果
DeepSeek在27B参数规模的实验中，将部分MoE专家参数重新分配给Engram记忆表，在等参数、等算力条件下进行测试。
实验结果显示，模型在知识、推理、代码与数学任务上均取得显著提升。在X平台上的技术讨论认为，Engram的机制有效减少了模型早期层对静态模式的重建需求，使模型在推理部分表现得更深。
应用前景
多位观察者推测，Engram很可能成为DeepSeek下一代模型V4的核心技术基础。这种架构让大规模静态记忆得以通过确定性寻址实现主机内存预取，从而在推理阶段保持低开销。
部分开发者指出，这项技术创新为解决大模型的记忆与推理效率问题提供了新思路，特别是在处理需要大量静态知识的应用场景中具有明显优势。
Engram架构的推出标志着大模型设计思路的重要转变，从传统的重建式记忆迈向查找式记忆。这一创新不仅提升了模型效率，也为下一代AI架构的发展方向提供了新的可能性。随着技术的不断成熟，这种架构变革将如何影响整个大模型领域的发展格局？
