兴趣
好价
百科
我的
张大妈
AI
排行榜
兴趣广场
我的兴趣
兴趣管理
全部兴趣
×
什么值得买App
下载 App ›
下载 App ›
发布
消息
通知
登录
连续签到
专享现金活动
签到领奖
当前位置:
兴趣
IT互联网
在线教育
文化娱乐
文章详情
AI Agent总忘事?微软新技术号称省98%token,但落地门槛被低估了
源自12位全网作者
07-08 18:56
AI Agent越来越常见,但有个问题始终没解决好:聊过的事转头就忘。每次开启新对话,系统得像复读机一样重新输入背景信息,效率低不说,关键细节还容易遗漏。微软在ICML 2026上发布的Memora,号称能把上下文token消耗降低98%,同时保持甚至超越全上下文推理的准确率。这个数字足够亮眼,但它是怎么做到的?实际落地又要跨过哪些门槛?
1
2
记忆问题出在哪?现有方案各有硬伤
大语言模型本质上是“无状态”的,每次对话从零开始。当需要处理长周期、复杂任务时,要么把历史信息全部塞进上下文,要么靠外部系统辅助记忆。塞上下文的方式成本高、效率低——上下文窗口有限,信息一多就得压缩,细节丢失几乎是必然。外部记忆系统的思路是对的,但现有方案都有明显短板:RAG把历史对话向量化后检索,只适合事实查询,面对“半结构化、充满例外”的工作信息时容易匹配失效;Mem0、Zep这类结构化记忆存储,通过压缩来节省空间,但过度压缩导致细节丢失;GraphRAG用知识图谱建模效果好,构建和维护成本却居高不下。
3
4
解耦存储与检索:Memora的核心设计
Memora的突破点是把记忆系统拆成三个正交组件,各司其职。
记忆值(Memory Value)
保留完整的原始信息,不做任何压缩;
主抽象(Primary Abstraction)
用6到8个词的短语概括记忆主题,作为更新和聚合的单元;
线索锚点(Cue Anchors)
生成多个短标签,从多角度定位同一条记忆。系统只索引主抽象和线索锚点,不直接索引原始记忆值。这意味着检索层只有高度凝练的语义标签,噪音极低;召回时拿到的还是完整保留的原始细节。
3
5
6
这种设计在处理复杂场景时优势明显。比如一条信息是“张三的Q2截止日期是5月30日,A类项目可延至6月15日”,传统方案要么压缩时丢失例外条件,要么检索时匹配到错误的条目。Memora用抽象层做匹配,用原始值做交付——主抽象“张三Q2项目截止日期”负责快速定位,记忆值完整保留延期规则这类细节,下次检索时直接可用。
3
7
性能数据:98% token节省的含金量与代价
从基准测试结果看,Memora的表现确实能打:
在LoCoMo(平均600轮对话)和LongMemEval(115,000 token上下文)两个基准上,LLM评判准确率分别达到86.3%和87.4%
,优于RAG、Mem0、全上下文推理等方案。每次对话存储的记忆条目数为344条,约为Mem0(651条)的一半;与全上下文推理相比,token消耗减少高达98%。这个数字意味着原本100块钱的API调用费用可能变成2块。
8
4
5
不过,
98%的token节省不等于企业账单减少98%
。Gogia指出,基准测试中的上下文减少是真实的,但实际成本还包括记忆构建、索引、存储以及审计日志的治理开销。此外,Memora最强的策略检索模式每次查询耗时约5到6秒,而更简单的语义模式不到1秒。提示token上的节省,部分是以检索延迟和额外推理成本为代价的。简单来说,内存危机没有消失,只是从“付费更长的提示”转移到了“管理写入、更新、遗忘的内容以及索引与测试”上。
8
4
9
值不值得用:关键看这几点
Memora目前仍是微软的活跃研究项目,代码已在GitHub开源,原则上可以部署在任何主流模型之上。但
纸面上的可移植性不等于生产就绪
。在代码得到充分验证、维护和支持之前,建议将其作为架构来研究,而不是直接用于生产环境。企业IT决策者需要权衡:是否愿意为更低的token消耗接受额外的系统复杂度和运维成本?团队是否有能力处理检索延迟问题?
9
10
如果需求集中在短文本问答、简单对话场景,现有RAG或向量检索方案足够用,没必要追新。但对于
企业级多Agent系统、需要处理半结构化长周期任务
的场景,Memora的解耦思路值得关注——它的层级抽象设计在信息组织和检索精度上确实更胜一筹。当然,也可以同时关注Atlas的MCP集成方案(专业但需要运维ES集群)以及Mnemis的自适应层级架构(双系统融合,准确率93.9%),对比之后再做决策。
11
12
#值得你新
#AI新鲜事
#AI
#数码
#AI Agent开发
#IT互联网
0
踩
0
0
分享
举报
参考来源
1
Memora: A Harmonic Memory Representation Balancing Abstraction and Specificity
风云榜
来自智源社区
2
智源社区_没有围墙的人工智能实验室
风云榜
来自智源社区
全
部
评论
评论千万条,友善第一条~
当前文章无评论,是时候发表评论了
当前文章无评论,是时候发表评论了