腾讯优图发布Streamo:端到端流式视频理解
传统视频大模型多采用离线处理模式,需接收完整视频段后才能生成输出,导致在处理不间断视频流时面临高延迟与上下文丢失风险。现有流式改进方案通常依赖外部决策模块判断响应时机,增加了计算开销且使感知与决策脱节,难以平衡实时性与准确性,限制了在直播解说、运动辅助等实时交互场景中的应用。
01核心方案架构
腾讯优图实验室联合香港浸会大学提出了Streamo框架,通过在模型内部直接嵌入“沉默、准备、回应”三种预测状态,实现了感知与决策的端到端统一。该架构使模型能够实时监控视频流并自主进行帧级别的输出判断。为支撑高效学习,研究团队构建了包含46.5万条样本的大规模指令微调数据集Streamo-Instruct-465K,并引入针对状态失衡优化的Focal Loss训练策略,确保模型在海量流式数据中精准捕捉关键触发瞬间。
02性能表现与应用
| 评估维度 | 传统模型/方案 | Streamo框架 |
|---|---|---|
| 处理模式 | 离线处理,需接收完整视频段 | 端到端流式处理,实时监控 |
| 决策机制 | 依赖外部决策模块,感知与决策脱节 | 内部嵌入预测状态,感知决策统一 |
| 性能提升 | 基线水平 | 7B版本平均性能提升13.83% |
| 通用性 | 特定场景限制 | 可适配Qwen2.5-VL等离线底座转化 |
Streamo与传统流式方案对比
- 实时解说
在直播等场景中提供即时、连贯的视频内容描述。 - 时敏性问答
针对视频流中的关键事件进行快速响应与回答。 - 复杂事件定位
在长视频流中精准捕捉并定位特定关键时刻。
当前文章无评论,是时候发表评论了