什么值得买App

我的兴趣消费指南

什么值得买
连续签到专享现金活动

CVPR 2026 TAPFormer:"帧-事件"异步融合,解锁超高频任意点跟踪新高度

任意点追踪(TAP)是计算机视觉中的核心任务,旨在精准锁定视频中的每一个像素点。然而,传统 RGB 相机受限于帧率,在捕捉高速运动时易产生运动模糊,且在极端光照下动态范围不足,导致追踪中断。为此,国防科技大学与湖南大学团队提出了 TAPFormer 框架,创新性地融合了 RGB 图像与事件相机数据。该框架通过瞬态异步融合(TAF)机制,将高频事件流与低频图像帧结合,有效解决了传统视觉感知在高速运动和低光照环境下的追踪失效问题。
01技术原理:TAF 与 CLWF
TAPFormer 的核心优势在于处理异构数据的融合策略。事件相机具备微秒级时间分辨率但缺乏纹理,RGB 图像提供丰富外观但时间连续性差。传统方法通常强行将事件数据“降级”对齐图像帧,造成高频信息浪费。TAPFormer 通过以下关键模块实现自适应融合:
  1. 瞬态异步融合(TAF)机制
    将场景视为时间上连续演变的潜在表示,不再强制对齐数据,而是利用事件流填补图像帧之间的“信息真空”,保持高频感知能力。
  2. 跨模态局部加权融合(CLWF)模块
    通过局部注意力机制,让事件 Token 在空间邻域内查询图像 Token,自适应地学习不同模态的权重。该机制确保在图像模糊或事件稀疏等单一模态失效的情况下,模型仍能提取稳健特征。
02实验数据与性能表现
为验证 TAPFormer 的有效性,研究团队构建了大规模合成数据集 FE-FastKub,并发布了真实世界测试集 InivTAP 和 DrivTAP。在 DrivTAP 驾驶数据集的对比实验中,TAPFormer 展现出显著优势。
方法平均杰卡德指数 (AJ)性能提升幅度
TAPFormer (本文)48.8-
CoTracker3 (纯图像 SOTA)37.1基准对比
ETAP (纯事件 SOTA)13.5TAPFormer 领先 261.5%

DrivTAP 数据集性能对比

主成分分析(PCA)可视化显示,融合后的特征在轨迹上聚类紧凑,点与点区分度明显。在帧率敏感度测试中,当图像帧率从 75 FPS 降至 9.375 FPS 时,CoTracker3 性能断崖式下跌,而 TAPFormer 性能仅下降 6.5%,体现出极强的鲁棒性。
03应用前景与集成
TAPFormer 的应用不仅限于点追踪,研究团队将其集成至即时定位与地图构建(SLAM)系统中。通过替换 VINS-Mono 的前端,该系统在高速无人机场景下实现了极高的位姿估计精度,AUC 指标超越现有多种事件 SLAM 方案。此外,模型在 RTX 3090 上仅需 3 次迭代即可收敛,推理速度表现优异。这种“帧+事件”的异步融合范式,为未来机器人和自动驾驶视觉系统提供了一种更接近生物视觉的连续感知解决方案。

评论

评论区空态插画

当前文章无评论,是时候发表评论了