[ICLR 2026] M3-Agent:具备长期记忆能力的多模态智能体核心速览
在多模态智能体持续运行的过程中,处理无限长度的输入流并构建世界知识是目前面临的主要挑战。现有的多模态模型通常受限于上下文窗口长度,难以在长时间跨度内维持对环境和实体的一致性理解。针对这一问题,ICLR 2026论文提出了M3-Agent(Multimodal Agent with Long-Term Memory)框架,旨在通过解耦记忆与控制流程,实现高效的长视频理解与推理。
01核心方案:记忆与控制的双流解耦
M3-Agent的核心思路是将智能体的工作流解耦为两个并行的过程:记忆与控制。这种架构设计有效克服了传统模型在处理超长上下文时的信息遗忘与表征不一致问题。
- 记忆过程
持续处理在线视频和音频流,生成“情景记忆”和“语义记忆”,并将这些信息组织为以实体为中心的多模态图结构。 - 控制过程
基于接收到的指令,通过强化学习(RL)优化的多轮推理策略,自主检索图结构中的记忆以完成任务。
02技术细节:多模态图与DAPO算法
为了实现上述目标,M3-Agent在存储机制、记忆构建与控制策略三个维度进行了技术创新。
- 长期记忆存储机制
将记忆存储为以实体为中心的多模态图结构,节点代表具体的记忆项(包含文本、图像、音频等),边缘表示记忆项之间的逻辑关系,支持跨模态表征的一致性。 - 记忆流的增量构建
以固定时间片段为单位生成两类记忆:情景记忆(记录具体事件)和语义记忆(提取身份与属性)。系统利用人脸/声纹识别分配全局ID,并通过MLLM执行跨模态推理,确定身份等价关系。 - 控制流与强化学习优化
采用DAPO(Direct Advantage Policy Optimization)算法对控制模型进行微调。模型接收指令后通过多轮自回归生成执行动作,利用二值奖励计算优势函数,最大化目标函数。
03实验验证:M3-Bench基准与性能表现
研究团队构建了全新的长视频问答基准测试M3-Bench,包含真实机器人视角的长视频(M3-Bench-robot)以及网络长视频(M3-Bench-web),并在三个测试集上与主流基线方法进行了对比。
| 测试集 | 最优商业基线准确率 | M3-Agent准确率 | 性能提升幅度 |
|---|---|---|---|
| M3-Bench-robot | N/A | 基准值 | +6.7% |
| M3-Bench-web | N/A | 基准值 | +7.7% |
| VideoMME-long | N/A | 基准值 | +5.3% |
M3-Agent在不同测试集上相较于最优商业基线(Gemini-GPT4o-Hybrid)的性能提升
消融实验进一步证实了各模块的有效性。移除“语义记忆”后,M3-Agent在两个主要数据集上的准确率分别下降了17.1%和19.2%;经过DAPO优化的控制模型相较于未经训练的提示模型,性能提升了8.0%至10.0%。实验结果表明,显式长期记忆构建与强化学习多轮推理机制显著提升了智能体在长视频任务中的表现。
当前文章无评论,是时候发表评论了