视觉数据标注成本高昂、模型语义理解能力不足是当前视觉智能发展的瓶颈。中国科学院大学韩振军副教授团队近期在空天视觉领域的十项代表性研究,从弱监督学习、交互式跟踪到视觉基础模型增强等多个维度,提出了一系列创新算法与框架。这些成果不仅显著提升了复杂场景下的感知精度,也为低成本、高效率的智能视觉系统构建提供了关键技术路径。
智能速览
利用单点或粗略点标注,实现低成本的目标检测与定位。
通过点击交互,实现更便捷、实时的单目标跟踪。
为视觉基础模型SAM赋予语义理解能力,拓展其应用边界。
实证研究了视觉混合专家模型的设计,为高效模型构建提供指导。
构建了无人机跟踪与微小目标检测的专业基准,推动细分领域研究。
提出评估框架,检验多模态大模型对细微视觉线索的推理能力。
精华内容
这批研究成果深入解决了视觉感知中的核心痛点,从降低标注成本到增强模型理解,再到创新交互范式,共同勾勒出空天视觉智能的未来技术蓝图。
弱监督的突破
传统视觉任务依赖大量精细标注,成本高昂。韩振军团队通过CPR++方法,首次从算法层面解决了点标注的语义方差问题,通过选择语义中心点显著提升了目标定位精度。
在此基础上,P2Object及P2MNet进一步利用单点监督,不仅在目标检测任务上表现优异,更成功扩展到实例分割领域,大幅缩小了与全监督方法的性能差距。
针对微小目标检测这一特殊难题,团队提出的TinyPerson基准与尺度匹配方法,有效解决了因数据集尺度不匹配导致的特征表示恶化问题,为远距离观测提供了可靠方案。
交互式跟踪
单目标跟踪的初始化精度直接影响后续效果。ClickTrack提出了一种全新的点击交互范式,用户仅需点击目标即可启动跟踪。其设计的引导点击细化器(GCR)能有效解决点击歧义,将点精确转化为边界框,在保证实时性的同时提升了跟踪稳定性。
在特定场景应用上,团队构建了大规模的Anti-UAV基准,包含超300个视频和58万标注框,为基于视觉的无人机跟踪研究提供了重要数据支撑。其提出的双流语义一致性方法,通过学习更鲁棒的类级语义信息,在该基准上取得了显著性能提升。
SAM的语义增强
视觉基础模型Segment Anything (SAM)虽分割能力强,但缺乏语义理解。团队的工作为此提供了多种解决方案。SAM-CP通过引入可组合提示,让SAM能够根据文本标签进行语义感知,实现开放词汇下的精准分割。
Sambor则将SAM与开放词汇目标检测器无缝集成,通过SideFormer模块注入语义信息,使SAM能够识别任意类别。
SAPNet另辟蹊径,结合多实例学习与SAM,专门解决点提示下的实例分割语义歧义,实现了低成本、高精度的特定类别分割。
模型与评估
探索高效、强大的模型架构是视觉智能发展的关键。在ViMoE研究中,团队系统性地将混合专家结构应用于视觉Transformer,并通过引入共享专家解决了路由不可靠的问题,为设计高效视觉大模型提供了实证指导。
针对多模态大模型(MLLMs)的评估,团队提出的VER-Bench框架,聚焦于模型对细微视觉线索的识别与推理能力。该基准揭示,当前模型在结合世界知识进行深度推理方面仍有不足,为未来模型能力的提升指明了方向。
韩振军团队的这十项研究,从算法创新到基准构建,全面回应了空天视觉领域的前沿挑战。这些成果不仅是学术上的重要进展,也为实际应用中的低成本、高效率、高精度视觉感知系统铺平了道路。未来,这些技术如何进一步融合并应用于更广泛的场景,值得持续关注。