大模型是否必须在推理时重复回忆常识?DeepSeek提出的Engram新架构给出否定的答案。它通过外挂知识模块,让模型将静态常识“查表”处理,从而大幅提升效率,并释放算力用于更复杂的任务,这可能重塑AI的未来发展方向。
智能速览
传统大模型在推理时反复计算静态常识,造成性能浪费。
Engram架构如同给模型外挂一个“知识数查表”,实现常识的直接检索。
该方法显著提升了模型在推理、代码和数学方面的能力表现。
通过算存分离,Engram能有效缓解对昂贵GPU显存的依赖。
DeepSeek此举可能定义了超越“堆算力”的AI架构新路线。
精华内容
AI模型长期被一个隐蔽问题困扰:用最贵的算力,做最笨的重复记忆。Engram架构的出现,正是对这一底层逻辑的颠覆。
隐蔽的性能浪费
当前主流的大模型架构存在一个不易察觉的效率陷阱。当模型需要判断“Diana, Princess of Wales”的身份时,它并非直接调用知识,而是耗费数层神经网络资源,一步步从“Wales是地名”推导至“她是英国皇室成员”。这个过程就像一个博士生每次解题前,都要先回忆一遍“太阳东升西落”这类常识,不仅耗时,更占用了宝贵的GPU显存,导致模型在处理高维任务时资源紧张。这种对静态知识的重复、低效推理,是算力资源巨大的浪费。
外挂式知识模块
DeepSeek提出的Engram条件记忆模块,巧妙地绕开了这个问题。它相当于给大模型外挂了一本永久性的“知识数查表”。对于那些固定不变的常识信息,模型不再进行内部推理,而是直接向Engram模块查询。这好比学生考试时携带了一张合法的“答题卡”,无需再将所有教材死记硬背。这种“查表”模式极大地加快了响应速度,并显著降低了计算成本。
能力与效率双提升
将静态知识剥离后,模型的“大脑”得到了解放,可以更专注于逻辑推理、代码生成和数学运算等真正需要高维思考的任务。实测结果显示,应用Engram架构后,模型在推理能力、代码能力和数学成绩上实现了全面上涨。更重要的是,通过纯算分离的技术,这些外部知识不再占用昂贵的GPU内存,直接缓解了业界普遍面临的“H100显存焦虑”,让有限的算力用在刀刃上。
架构进化新方向
这项创新的意义可能超越了技术本身,被视为Transformer架构之后的又一次重大重构。它预示着AI的发展路径将不再单纯依赖“卷算力”、堆参数,而是转向更高效的“主制结构进化”。DeepSeek的这一步,不仅展示了其在技术上的前瞻性,更有可能为中国大模型的发展定义一条全新的、更具可持续性的路线图,引导行业走向更优的资源配置方式。
Engram架构为算力饥渴的大模型时代提供了新思路,证明聪明的结构比蛮力更重要。未来的AI,是继续堆砌一个更大的“大脑”,还是会进化出更高效的外部记忆系统?这值得持续关注。
当前文章无评论,是时候发表评论了