什么值得买App下载 App ›
连续签到专享现金活动

【已开源】长视频多智能体 LongVideoAgent

长视频理解因信息稀疏、时序跨度大及模态复杂,一直是多模态大模型的难点。传统方法通常一次性压缩整段视频,容易导致关键细节丢失,无法准确回答细粒度问题。针对这一痛点,LongVideoAgent提出了一种基于“智能体+工具”的主动检索架构,通过多智能体协作与强化学习优化,实现了对长时序视频的高效推理。目前,该论文的代码与模型已正式开源。
01模块化多智能体架构

系统核心角色分工

主智能体

负责整体调度与决策

  • 承担整体推理与任务规划
  • 整合多轮工具调用结果
  • 生成最终回答
定位智能体

负责时空定位

  • 依据字幕与问题语义
  • 检索并定位相关视频片段
视觉智能体

负责细节提取

  • 从定位片段中提取物体
  • 识别动作与场景细节
02关键技术:强化学习策略
为提升多步推理的质量,系统引入了强化学习策略。主智能体采用GRPO算法进行训练,奖励机制由结构正确性与最终答案准确性两部分组成。在训练过程中,定位与视觉智能体保持冻结,仅主智能体参数更新。这种设计使模型能够学会更高效的决策路径,在长链条推理中显著优于基线模型。
配置参数具体设置
算法类型GRPO
温度1.0
学习率5e-6
KL系数1e-3
批大小4
硬件资源4×H800
训练时长约12小时

Qwen2.5-7B训练配置细节

03数据集构建与实验效果
研究团队构建了LongTVQA与LongTVQA+数据集,将TVQA及TVQA+中的短片段合并为剧集级长视频,包含字幕、时间戳及实体框标注,专门用于评测长时序推理能力。实验结果显示,多智能体框架显著优于非智能体基线,且引入视觉智能体比仅使用字幕准确率更高。
  • 强化学习增益明显:对开源模型提升尤为显著,Qwen2.5-7B在RL训练后接近GPT-4o-mini的表现。
  • 多步推理优势:增加推理步数与使用更强的视觉模型均能带来额外性能收益。
  • 通用性强:在多个开源与闭源模型上均实现了长视频QA性能的显著提升。

评论

评论区空态插画

当前文章无评论,是时候发表评论了