什么值得买App

我的兴趣消费指南

什么值得买
连续签到专享现金活动

仅0.6M参数拿下 CVPR Oral!上交大&燕大开源多模态跟踪SEATrack

现有的统一多模态跟踪方法往往通过增加模块和堆叠参数来提升性能,但这导致了计算开销的激增。上交大与燕山大学联合推出的SEATrack(CVPR Oral)提出了一种新的解决思路:在多模态跟踪中,核心问题不仅在于“如何融合”,更在于融合前不同模态的目标匹配响应是否对齐。该模型通过“对齐先于融合”的设计,在仅用0.6M参数的情况下,实现了63.5 FPS的推理速度,并在五个基准测试中取得了领先成绩。
01背景痛点:复杂场景下的感知局限
仅依赖RGB图像的目标跟踪在光照突变、快速运动及遮挡等复杂场景下表现受限。引入热红外、深度、事件等异构模态可以提供互补信息,但现有基于参数高效微调(PEFT)的方法面临两个主要问题:一是为了追求性能不断增加参数量,偏离了效率优势;二是过度依赖复杂的跨模态融合机制,难以在表达充分性与计算效率之间取得平衡。现有的全局交互代价高昂,而轻量级局部融合又缺乏全局建模能力。
02核心创新:对齐先于融合
SEATrack认为,多模态跟踪首先是目标匹配问题,其次才是跨模态融合问题。如果不同模态对目标位置的认知不一致,后续的融合效果将大打折扣。针对这一痛点,SEATrack提出了AMG-LoRA(Adaptive Mutual Guidance LoRA)进行跨模态注意力对齐,以及HMoE(Hierarchical Mixture of Experts)进行高效全局融合。

传统融合 vs SEATrack策略

直接融合模式
  • 重点在于设计复杂的跨模态交互机制

  • 单流方法混合输入导致注意力漂移

  • 双流方法因域偏差产生不一致的注意力图

  • 忽视模态间空间感知的一致性

先对齐后融合模式
  • 提出AMG-LoRA实现跨模态注意力对齐

  • 利用自适应互引导机制修正模态偏差

  • 采用HMoE作为高效的全局关系建模器

  • 通过层次化软路由平衡性能与效率

03技术架构:AMG-LoRA与HMoE
  • AMG-LoRA(跨模态注意力对齐)
    引入LoRA帮助预训练知识适应多模态域,并通过自适应互引导机制,让一种模态的匹配信息动态引导另一种模态,实现双向修正,确保不同模态在空间感知上的一致性。
  • HMoE(高效全局融合)
    替代高代价的Attention方案,作为高效的全局关系建模器。通过层次化软路由,先在sub-token层面完成细粒度混合,再在token层面完成聚合输出,实现高效的跨模态全局交互。
04实测数据:性能与效率的双重优势
数据集核心指标表现备注
LasHeRPR: 71.6, NPR: 67.5, SRR: 57.3RGB-T跟踪
RGBT234MPR: 87.8, SR: 63.9可见光-红外跟踪
DepthTrackPR: 62.9, RE: 63.5, F-score: 63.2深度跟踪
VOT-RGBD2022EAO: 73.6, Acc: 82.1, Rob: 88.4RGB-D挑战赛
VisEventPR: 77.1, SR: 60.3事件相机跟踪

SEATrack在五个多模态跟踪基准上的综合性能

在极具竞争力的性能指标之外,SEATrack保持了极高的运行效率。其可学习参数量仅为0.6M,推理速度达到63.5 FPS。消融实验显示,仅加入AMG-LoRA(增加0.14M参数),即可在LasHeR数据集上带来18.3%的PR提升,证明了“对齐”策略的显著价值。
05研究价值
SEATrack的研究表明,跨模态对齐是多模态跟踪中长期被低估的关键环节。相比于单纯堆叠更重的交互结构,先提升跨模态空间感知的一致性,再进行高效融合,是打破性能与效率瓶颈的更优路径。这一“先对齐感知、后信息融合”的思路,也为其他视觉多模态感知任务提供了新的参考视角。

评论

评论区空态插画

当前文章无评论,是时候发表评论了