什么值得买App下载 App ›
连续签到专享现金活动

腾讯优图发布Streamo:端到端流式视频理解

传统视频大模型多采用离线处理模式,需接收完整视频段后才能生成输出,导致在处理不间断视频流时面临高延迟与上下文丢失风险。现有流式改进方案通常依赖外部决策模块判断响应时机,增加了计算开销且使感知与决策脱节,难以平衡实时性与准确性,限制了在直播解说、运动辅助等实时交互场景中的应用。
01核心方案架构
腾讯优图实验室联合香港浸会大学提出了Streamo框架,通过在模型内部直接嵌入“沉默、准备、回应”三种预测状态,实现了感知与决策的端到端统一。该架构使模型能够实时监控视频流并自主进行帧级别的输出判断。为支撑高效学习,研究团队构建了包含46.5万条样本的大规模指令微调数据集Streamo-Instruct-465K,并引入针对状态失衡优化的Focal Loss训练策略,确保模型在海量流式数据中精准捕捉关键触发瞬间。
02性能表现与应用
评估维度传统模型/方案Streamo框架
处理模式离线处理,需接收完整视频段端到端流式处理,实时监控
决策机制依赖外部决策模块,感知与决策脱节内部嵌入预测状态,感知决策统一
性能提升基线水平7B版本平均性能提升13.83%
通用性特定场景限制可适配Qwen2.5-VL等离线底座转化

Streamo与传统流式方案对比

  • 实时解说
    在直播等场景中提供即时、连贯的视频内容描述。
  • 时敏性问答
    针对视频流中的关键事件进行快速响应与回答。
  • 复杂事件定位
    在长视频流中精准捕捉并定位特定关键时刻。

评论

评论区空态插画

当前文章无评论,是时候发表评论了