什么值得买App

我的兴趣消费指南

什么值得买
连续签到专享现金活动

哆啦A梦讲解DeepSeek Engram

在当前的大语言模型(LLM)研究中,如何平衡计算成本与记忆能力是核心议题。传统模型在面对固定知识(如“张仲景是谁”、“四大发明有哪些”)时,往往通过参数重新“计算”答案,而非直接“查阅”记忆。这种“用计算模拟记忆”的方式不仅浪费算力,还限制了模型处理复杂推理的能力。DeepSeek提出的最新Engram机制,旨在通过引入N-gram记忆模块,让AI学会像查字典一样处理固定搭配,从而释放脑容量专注于更复杂的任务。
01背景痛点:计算模拟记忆的局限
大模型目前普遍采用两种“省力”方式来处理海量数据:一种是MoE(混合专家)的“条件计算”,即从100个专家中只激活6个进行工作;另一种则是“条件记忆”。然而,现有模式在处理高频固定搭配(如Apple=苹果、亚历山大大帝、By the way)时,依然倾向于使用推理能力而非直接调取记忆。这导致每次遇到简单知识,模型都需要重新进行神经计算,类似于每次算1+1都要重新掰手指,效率低下。
02核心原理:N-gram与查表机制
  • N-gram存储
    Engram的“字典”中存储的是N-gram,即连续N个词组成的固定搭配。例如2-gram(连续两个词)或3-gram(连续三个词)。这些在语言中反复出现的模式(如“四大发明”对应的“造纸术、指南针、火药、印刷术”)更适合被记住,而非每次重新计算。
  • O(1)查找
    工作原理是将连续的几个词转化为地址,直接去超大表格中查询对应的记忆向量。类似于通过图书编号直接取书,无论数据量多大,查找时间恒定,实现O(1)复杂度的快速检索。
  • 哈希压缩
    针对词组合数量无限的问题,利用哈希函数将其压缩到有限的格子中。虽然可能偶尔发生“哈希冲突”(撞车),但通过使用多个哈希头可大幅降低错误率。
03关键技术:上下文门控机制
单纯的查表可能无法应对语境歧义。例如“苹果”一词,可能指代水果,也可能指代手机公司。Engram引入了“上下文门控机制”作为智能开关:AI会使用当前的上下文(Query)去检查查出来的记忆(Key)。只有当两者相关时,记忆才会被引入;若不相关则自动屏蔽。这种机制确保了记忆的精准性,避免了错误信息的干扰。
04实验验证:80:20的黄金比例与性能提升
研究数据显示,MoE(计算)与Engram(记忆)存在最佳配比点。若全靠计算,AI会浪费精力“重新发明轮子”;若全靠记忆,则无法进行复杂推理。最佳方案为75%-80%的计算配合20%-25%的记忆。这种“稀疏性分配”策略让两者各司其职。在相同参数量和计算量下,Engram模型在知识问答、推理、代码和数学任务上全面超越纯MoE模型。
评估维度Engram模型 (27B)提升幅度
总体表现+4.48显著优于纯MoE模型
中文知识+4.0固定知识记忆增强
推理能力+5.0有效深度增加
代码能力+3.0逻辑构建更优
数学能力+2.4基础算力释放用于推理

Engram-27B vs MoE-27B 性能对比

此外,Engram具有极高的工程落地价值。其记忆表可存放于普通内存中,不占用昂贵的GPU显存。由于查表地址可预知,AI能进行数据预取,实验显示100B参数的记忆表仅增加不到3%的延迟。这种设计通过“有效深度增加”,将原本用于记忆的浅层网络释放出来,专注于高难度的推理任务,正如背熟乘法口诀后可专注于应用题解题思路。
05总结:AI记忆的新范式
  1. 分离原则
    固定知识采用查表模式,复杂推理采用计算模式。
  2. 智能门控
    利用门控机制解决语境歧义,确保记忆调用的准确性。
  3. 黄金配比
    维持80%计算与20%记忆的比例,实现效率最优。
  4. 容量释放
    将AI脑容量从死记硬背中解放,专注于更深层任务。

评论

评论区空态插画

当前文章无评论,是时候发表评论了