大语言模型的算力消耗与知识固化一直是发展瓶颈。DeepSeek提出的新架构Engram，通过将知识存储与推理能力彻底分离，不仅显著提升了模型性能，还大幅降低了硬件成本。这项设计为大模型的高效扩展与知识更新提供了全新思路。
智能速览
新架构将模型分为负责推理的“计算脑”和负责知识的“知识脑”Engram。
知识脑Engram通过查表获取信息，将计算资源完全解放用于逻辑推理。
实测Engram-27B模型在推理、代码和数学等多项评测中性能全面提升。
该架构支持知识部分无限扩展，让模型更新知识变得简单高效。
精华内容
传统大模型将知识与推理混合在参数中，导致算力浪费。DeepSeek Engram架构创新性地将二者解耦，通过一个独立的“知识脑”来管理静态信息，让“计算脑”更专注于逻辑推理，从而实现了效率与性能的双重突破。
架构革新：双脑分离
传统的Transformer模型（包括MoE架构）将知识和逻辑推理能力全部混杂在庞大的神经网络参数中。这种设计使得模型在处理任务时，需要消耗大量算力去“回忆”或“重建”存储的事实性知识，造成了不必要的资源浪费。DeepSeek的新论文则提出了一个根本性的架构变革，将大模型拆分为两个核心部分：一个专注于复杂逻辑运算的“计算脑”，和一个专门负责存储和检索静态知识的“知识脑”（Engram）。
这种“双脑分离”的设计，从根本上改变了模型处理信息的方式，为其后续的性能提升和成本优化奠定了基础。
知识脑Engram：高效查表
Engram作为“知识脑”，其核心功能是作为一个外部化的知识数据库。当模型需要事实性信息时，不再通过神经网络计算来生成答案，而是直接向Engram“查表”获取。这种方式极大提升了信息获取的效率，几乎不消耗计算资源。
由于记忆和背诵的工作被Engram完全接管，原本负责运算的神经网络层得以彻底解放。这些被解放的算力可以更专注于处理深层次的、需要复杂逻辑推理的任务，从而让模型在需要“思考”的场景下表现得更加出色。
实测性能全面提升
架构的革新最终体现在了实实在在的测试成绩上。根据DeepSeek的实验数据，采用Engram架构的27B参数模型在多个关键领域都取得了显著的进步。在通用推理能力测试（BBH）中，得分提升了5.0%；在代码生成能力测试（HumanEval）中，得分提升了3.0%；在数学能力测试（MATH）中，得分也提升了2.4%。
这些数据表明，分离知识与推理的设计是行之有效的，它不仅没有削弱模型的能力，反而在多个核心维度上实现了全面增强。
成本优化与可扩展性
除了性能提升，Engram架构还带来了两大极具吸引力的优势：成本和可扩展性。由于Engram存储的是相对静态的知识，这些数据可以被放置在成本远低于GPU的CPU内存中，而性能几乎不会受到损失。这直接降低了部署和运行大模型的硬件门槛。
更重要的是，知识的扩展和更新变得异常简单。当需要新增或修改知识时，只需对Engram这个“知识脑”进行操作即可，无需对整个庞大的神经网络进行重新训练。这种设计的可扩展性几乎是无限的，为大模型的持续进化提供了可能。
DeepSeek Engram架构为大模型发展提供了极具潜力的新方向，其在性能、成本和可维护性上展现出的综合优势令人瞩目。这种“知识外挂”的模式是否会成为未来主流，值得业界持续关注与探讨。
