大语言模型的进化路径有了新思考。DeepSeek与北京大学联合提出的Engram架构，通过分离计算与记忆，显著提升了模型性能与效率。这一设计不仅解决了现有模型在知识检索上的冗余问题，还打破了硬件瓶颈，为通往更强的通用智能提供了极具价值的方向。
智能速览
Engram架构将AI模型的计算与记忆功能进行明确分工。
它通过哈希查找实现O(1)复杂度的超高效知识检索。
在同等规模下，Engram模型在多项任务上性能超越纯MoE模型。
该设计解放计算资源，使模型能进行更深层次的逻辑推理。
精华内容
当AI界还在惊叹MoE模型的能力时，一种更高效的架构Engram已然出现，它试图从根本上重塑大模型处理信息的方式，为AI装上一个真正高效的“海马体”。
现有模型的困境
当前大模型在处理知识时存在效率瓶颈。例如，当模型遇到“戴安娜王妃”这类专有名词时，它并非直接“回忆”，而是通过多层计算，将“戴安娜”与“王妃”等概念重新组合构建。这种方式如同每次使用圆周率都需重新计算一遍，消耗了大量计算资源于重复性的知识检索任务上。
Engram的核心解法
Engram的提出，旨在通过“分工”解决此问题。其核心思想是将模型的“计算”与“记忆”功能剥离。MoE模块继续负责动态的逻辑推理，而新增的Engram模块则专职存储和快速检索静态、高频的知识，如人名、地名和固定短语。
Engram利用哈希查找机制，能以O(1)的复杂度，即常数时间，从巨大的记忆库中直接提取目标知识。随后，“上下文门控”机制会智能判断该知识在当前语境下的适用性，确保检索的精准性。
性能与效率革命
这一革新性设计带来了三大优势。首先是性能的全面超越，在参数量和计算量相当的前提下，集成Engram的模型在知识问答、逻辑推理、代码生成和数学求解等多项基准测试中，均显著优于纯MoE模型。
其次是增加了模型的“有效深度”。Engram接管了浅层网络的记忆任务，将宝贵的计算资源解放出来，使其能够投入到更深层次的复杂推理中。
最后是硬件的友好性与无限扩展潜力。由于查找地址确定，Engram可将千亿级别参数存储在CPU内存中，推理时异步读取，几乎不影响速度，从而有效打破了GPU显存的物理限制。
Engram的出现预示着AI的进化不只有堆叠算力一条路。通过设计更符合认知规律的、计算与记忆协同工作的“大脑结构”，或许是通往更强通用人工智能的康庄大道。这种架构上的创新，是否会成为下一代大模型的主流方向？
