多模态大模型在视频时空定位任务上面临挑战。STVG-o1模型提出了一种创新解法，通过引入强化学习与“边界框思维链”机制，在不改变模型架构的前提下，显著提升了定位精度与泛化能力，为开放词汇场景下的视频理解提供了新思路。
智能速览
核心创新在于“边界框思维链”机制，显式捕捉目标位置。
设计了包含格式、一致性等在内的多维度奖励函数。
采用强化学习微调，实现端到端的时空定位。
在多个主流数据集上均取得领先的m tIoU和m vIoU指标。
展现出强大的开放词汇能力，可理解未见过的概念描述。
精华内容
STVG-o1并非依赖架构革新，而是通过巧妙的训练策略解锁了模型的潜力。其核心实现路径与卓越性能，体现在以下几个方面。
边界框思维链
STVG-o1的核心是引入了“bounding-box chain-of-thought”机制。模型会先生成一个中间的时空边界框序列，用以捕捉目标在关键帧中的初始假设位置，再将其逐步细化为最终的预测结果。这个过程不仅强化了细粒度的区域与词语对齐，还提供了一个可被奖励信号直接监督的结构化中间信息，让模型的推理过程更加透明和可控。
多维奖励驱动
为了让模型输出更有效、更准确，STVG-o1设计了一个多维度奖励函数来指导强化学习过程。该函数包含五个部分：格式奖励确保输出结构有效，一致性奖励保证时空轨迹连贯，时间奖励和时间戳预测挂钩，空间奖励关注边界框的精确度，思考奖励则鼓励有意义的中间推理。这些奖励共同作用，引导模型向着高质量结果优化。
端到端实现
STVG-o1通过强化学习微调（RFT）技术，实现了无需修改模型架构的端到端时空定位。模型在生成原始输出字符串后，会通过正则表达式匹配提取出三个关键结构化组件：时间间隔、中间边界框链和最终空间预测。这种方式巧妙地利用了现有大模型的固有推理能力，以最小的架构成本实现了复杂的定位功能。
性能实测领先
在权威的HCSTVG-v1/v2和VidSTG数据集上，STVG-o1的性能表现突出。在HCSTVG-v1数据集上，其m tIoU达到60.3%，m vIoU为44.1%，相较前代最佳方法TA-STVG分别提升7.3%和5.0%。在更具挑战的HCSTVG-v2数据集上，性能进一步提升至63.8% m tIoU和41.2% m vIoU，刷新了该任务的最先进记录。
开放词汇泛化
STVG-o1的泛化能力同样值得关注。通过在VidSTG数据集上训练，并在HCSTVG-v1测试集上评估其在未见过的概念上的表现，模型取得了45.9%的m tIoU和32.2%的m vIoU，分别比TA-STVG高出15.8%和11.3%。这证明，通过强化学习引导的时空奖励进行微调，模型能够理解任意的对象语言描述，不再受限于固定的检测词汇表。
STVG-o1的成功证明了强化学习在引导复杂多模态任务中的巨大潜力，为提升大模型的可解释性和定位精度提供了可行路径。这种不改变架构、仅优化训练策略的思路，是否会成为未来多模态模型发展的一个重要方向？
