什么值得买App下载 App ›
连续签到专享现金活动

文继荣团队:迈向长程Agentic多模态搜索

多模态深度搜索 Agent 主要通过迭代收集文本和视觉证据来解决复杂任务。然而,在长程场景下,多模态输入带来的异构信息和高 token 成本成为主要瓶颈。现有方法往往面临上下文爆炸或关键视觉信号丢失的两难困境。针对这一问题,中国人民大学文继荣团队及其合作者提出了 LMM-Searcher,这是一个以基于文件的视觉表示机制为核心的长程多模态深度搜索框架。
01核心解决方案:基于文件的视觉表示机制
LMM-Searcher 的核心在于通过将视觉资产卸载到外部文件系统,将其映射为轻量的文本标识符(UID)。这种设计能够在有效控制上下文开销的同时,保留完整的多模态信息以供后续访问。
02技术实现细节
  1. 专用取图工具与主动感知
    为 Agent 配备了专用取图工具,支持按需渐进式加载视觉内容,实现主动感知。
  2. 数据合成管线
    设计了专门的数据合成管线,用于生成需要复杂跨模态多跳推理的查询。
  3. 模型微调
    利用该管线蒸馏出 12K 条高质量轨迹,微调 Qwen2.5-VL-Thinking-32B 得到专门的多模态深度搜索 Agent。
03实验效果与表现
在 4 个基准测试上的实验结果显示,该方法成功扩展到了 100 轮搜索。在 MM-BrowseComp 和 MMSearch-Plus 等长程基准测试上,该方法取得了开源 SOTA(State-of-the-Art)成绩,并且在不同基座模型之间表现出良好的泛化能力。

评论

评论区空态插画

当前文章无评论,是时候发表评论了