面对长达数周的视频，传统AI模型常因上下文限制而失忆。Meta提出的EGAgent框架，通过构建时序实体场景图，将视频转化为结构化知识，成功赋予AI长期记忆与跨模态推理能力，为全天候AI助手的实现开辟了新路径。
智能速览
EGAgent将长视频转化为时序实体场景图，以结构化方式记忆信息。
图谱节点代表人与物，边则记录带时间戳的交互关系。
模型通过多步规划，分解查询并调用视觉、音频和图谱工具检索。
该方法克服了传统RAG技术在处理关系依赖时的碎片化缺陷。
实现了长时序、多跳跃的复杂问答，推动个人AI助手发展。
精华内容
EGAgent的创新之处不仅在于记忆，更在于如何利用这些结构化记忆进行精准推理，其背后的机制值得深入探究。
构建记忆图谱
EGAgent的核心创新在于将原始视频流转化为“时序实体场景图”。这种处理方式彻底改变了模型对视频的理解方式。它不再将视频看作是连续的帧，而是构建一个动态的知识库。图中的节点代表视频中出现的具体实体，如人物、物体和地点；而连接节点的边则捕捉了它们之间的交互行为，例如“交谈”、“使用”或“靠近”。
最关键的是，每一条关系边都附带了精确的时间区间标注。这种设计让模型能够显式地建模和索引实体在长时间跨度内的动态演变，从而有效回答“本周我喝了几次水”这类需要长期记忆和复杂推理的问题。
智能推理系统
在推理层面，EGAgent引入了一个具备多步规划能力的智能体系统。当接收到一个复杂的自然语言查询时，系统不会直接生成答案。首先，规划代理会将问题分解为一系列可执行的子任务。然后，它会根据任务需求动态调用三种检索工具：基于嵌入的视觉搜索、基于文本的音频搜索，以及核心的实体图谱搜索。
其中，实体图谱搜索工具尤为关键，它允许代理通过生成类似SQL的语句，在结构化的图数据库中进行精确查询。为了应对现实数据中的噪声，该工具采用了“从严格到宽松”的查询策略，确保了检索过程既能保持高召回率，又不失准确性。
跨模态证据链
检索到的信息是分散且多模态的，EGAgent通过一个分析器工具对其进行融合与过滤。该工具会整合来自视觉、音频和图谱的检索结果，在工作记忆中逐步构建一条完整的证据链。这个过程不仅仅是信息的简单拼接，而是基于逻辑和关联性的筛选与重组。
最终，VQA（视觉问答）代理会基于这条经过精心构建的结构化信息链生成最终答案。这种方法确保了答案的每一个细节都有据可循，实现了真正的跨模态推理，而非简单的模态切换。
超越传统RAG
与传统的检索增强生成（RAG）技术相比，EGAgent展现出明显优势。传统RAG在处理涉及复杂关系依赖的问题时，常因检索结果碎片化而难以整合信息，导致推理失败。EGAgent通过显式的图谱结构，从根本上解决了这一缺陷，将分散的信息点连接成网状的知识体系。
实验证明，这种基于图谱的推理方式，大幅提升了模型在长时序、多跳跃问答任务中的表现。它不仅能回答“谁经常坐在我旁边”，还能推理出更复杂的场景关联，为下一代具备持久记忆和理解能力的个人AI助手提供了强大的算法范式。
EGAgent为处理长期、多模态数据提供了全新的算法范式，其结构化记忆与推理能力是迈向真正全天候个人AI助手的关键一步。未来，这种思路能否成为主流？
