DeepSeek-V4 引入的 Engram 架构,通过将知识存储与逻辑计算彻底分离,为 AI 发展提供了新思路。该架构利用 CPU 内存进行 O(1) 极速检索,解放了 GPU 显存,使模型能更专注于逻辑推理。这一创新在 BBH 推理、数学及代码等核心能力上带来了显著的性能飞跃。
智能速览
Engram 架构实现了知识存储与逻辑计算的彻底解耦。
知识库存储于 CPU 内存,实现 O(1) 极速检索,近乎零延迟。
GPU 显存被完全解放,模型早期网络层可专攻逻辑理解。
BBH 推理能力大幅提升 5.0,数学能力提升 2.4,代码能力提升 3.0。
该架构标志着 AI 向“电子脑+外部记忆”形态进化的新阶段。
精华内容
这种将知识外置的架构,究竟是如何运作并带来性能飞跃的?其背后的核心机制与实测数据,揭示了 AI 推理效率提升的新方向。
解耦革新
传统大模型将知识编码与逻辑推理深度耦合于网络权重中,导致推理时需要消耗大量计算资源调用静态知识。Engram 架构的核心突破在于,它将庞大的知识库从模型主体中剥离出来。这种设计让大模型回归纯粹的计算引擎,专职处理动态的逻辑推理任务,彻底改变了过去知识存储与计算混为一体的低效模式。
知识外置与极速检索
被剥离的知识库不再占用宝贵的 GPU 显存,而是作为“外部硬盘”存储在容量更大、成本更低的 CPU 内存中。模型在需要调用知识时,可通过 O(1) 复杂度的算法进行极速检索,这意味着检索时间几乎不随知识库大小增加而变长。这种近乎零延迟的知识访问方式,确保了推理过程的流畅性,并为模型节省出全部显算力用于核心的逻辑链条构建。
性能飞跃的实测
架构革新带来的性能提升在基准测试中得到验证。数据显示,采用 Engram 架构后,模型在 BBH(Big-Bench Hard)推理任务上得分提升了 5.0,在数学能力上提升了 2.4,在代码生成能力上提升了 3.0。这些量化数据清晰地表明,将知识处理与逻辑计算分离,能够让模型在不同领域的专业能力上获得显著且均衡的增强,验证了该架构的优越性。
DeepSeek-V4 的 Engram 架构不仅是一次技术优化,更预示着 AI 系统设计的新范式。通过模拟“大脑与记忆”的协作模式,它为解决大模型的 scaling laws 瓶颈提供了可行路径。未来,这种软硬件协同的架构会如何重塑 AI 应用生态,值得持续关注。