【已开源】长视频多智能体 LongVideoAgent
长视频理解因信息稀疏、时序跨度大及模态复杂,一直是多模态大模型的难点。传统方法通常一次性压缩整段视频,容易导致关键细节丢失,无法准确回答细粒度问题。针对这一痛点,LongVideoAgent提出了一种基于“智能体+工具”的主动检索架构,通过多智能体协作与强化学习优化,实现了对长时序视频的高效推理。目前,该论文的代码与模型已正式开源。
01模块化多智能体架构
系统核心角色分工
主智能体
负责整体调度与决策
- 承担整体推理与任务规划
- 整合多轮工具调用结果
- 生成最终回答
定位智能体
负责时空定位
- 依据字幕与问题语义
- 检索并定位相关视频片段
视觉智能体
负责细节提取
- 从定位片段中提取物体
- 识别动作与场景细节
02关键技术:强化学习策略
为提升多步推理的质量,系统引入了强化学习策略。主智能体采用GRPO算法进行训练,奖励机制由结构正确性与最终答案准确性两部分组成。在训练过程中,定位与视觉智能体保持冻结,仅主智能体参数更新。这种设计使模型能够学会更高效的决策路径,在长链条推理中显著优于基线模型。
| 配置参数 | 具体设置 |
|---|---|
| 算法类型 | GRPO |
| 温度 | 1.0 |
| 学习率 | 5e-6 |
| KL系数 | 1e-3 |
| 批大小 | 4 |
| 硬件资源 | 4×H800 |
| 训练时长 | 约12小时 |
Qwen2.5-7B训练配置细节
03数据集构建与实验效果
研究团队构建了LongTVQA与LongTVQA+数据集,将TVQA及TVQA+中的短片段合并为剧集级长视频,包含字幕、时间戳及实体框标注,专门用于评测长时序推理能力。实验结果显示,多智能体框架显著优于非智能体基线,且引入视觉智能体比仅使用字幕准确率更高。
- 强化学习增益明显:对开源模型提升尤为显著,Qwen2.5-7B在RL训练后接近GPT-4o-mini的表现。
- 多步推理优势:增加推理步数与使用更强的视觉模型均能带来额外性能收益。
- 通用性强:在多个开源与闭源模型上均实现了长视频QA性能的显著提升。
当前文章无评论,是时候发表评论了