恶劣天气下的目标检测面临精度与速度难以兼顾的挑战。MASFNet网络另辟蹊径,直接在特征层面进行自适应增强,无需预处理图像,便在多个真实场景数据集上实现了精度与速度的卓越平衡,为边缘设备部署提供了新思路。
智能速览
MASFNet摒弃传统图像预处理,直接在特征空间内进行针对性增强。
通过拉普拉斯金字塔分解并协同恢复图像的低频轮廓与高频细节。
采用轻量级骨干网络CSPDarknet-Tiny,模型参数量仅为6.0MB。
在真实雾天数据集RTTS上取得73.68% mAP,推理速度达152 FPS。
在低光照数据集ExDark上达到63.80% mAP,综合性能优于当前最优模型。
精华内容
MASFNet如何在不增加计算负担的前提下,有效提升恶劣天气下的检测性能?其关键在于精巧的内部特征增强机制。
挑战与旧法局限
在雾、雨、低光照等恶劣天气下,图像质量退化导致常规目标检测模型性能骤降。现有方法主要分三类:基于图像预处理的方法会增加计算开销并可能损失特征;多任务联合学习虽能端到端优化,但模型复杂度高,推理速度慢;领域自适应方法则会改变图像原始属性,可能削弱模型泛化能力。这些方案都难以在精度、速度和复杂度三者间取得理想平衡。
核心特征增强
MASFNet的核心是特征自适应增强网络FAENet。它首先利用拉普拉斯金字塔将输入特征分解为代表结构语义的低频成分和代表边缘细节的高频成分。
随后,低频成分通过感受野融合增强模块(RFEM)聚合多尺度上下文,并通过轻量注意力模块(LAM)突出关键信息。
高频成分则与注意力信号一同进入仿射变换增强模块(ATEM),通过交互与乘加操作强化边缘细节。最终,增强后的高低频成分融合,输出更具判别力的特征图。
高效多尺度融合
轻量级骨干网络提取特征后,多尺度采样融合金字塔网络(MSFNet)接手处理。为解决轻量模型多尺度语义表达能力弱的问题,MSFNet引入了先进的CARAFE内容感知上采样操作。
该机制能根据特征内容动态重组像素,精细恢复空间细节。结合传统上采样与子像素重组策略,MSFNet在仅保留两级特征输出的情况下,实现了高效的跨尺度语义融合,显著提升了模型对不同尺寸目标的判别能力。
性能实测优势
实验验证了MASFNet的综合优势。在真实雾天数据集RTTS上,模型以6.0MB参数量取得73.68% mAP和152 FPS,精度相较AOD-YOLO提升20.19%,速度和轻量化程度远超多数对比模型。
在极具挑战性的小样本浓雾数据集FDD上,未经微调的模型也取得了30.95% mAP,展现了强大的泛化能力。在低光照数据集ExDark上,其63.80%的mAP同样达到SOTA水平,证明了该方案的有效性。
应用与未来思考
MASFNet的特征增强与融合范式具备很强的可迁移性。其高低频分离增强思想可借鉴于医疗影像或遥感影像分析,而轻量化特性使其非常适合自动驾驶、移动机器人等边缘计算场景。
尽管如此,模型在极端恶劣条件(如浓雾中的微小物体)下的性能边界尚不明确,其结构复杂性与可解释性、以及面对未知天气组合时的适应性,仍是未来需要深入探索的方向。
MASFNet通过特征层面的自适应增强,为恶劣天气下的实时目标检测提供了一种高效的解决方案。这种轻量化的设计思路能否启发更多在资源受限设备上的感知模型突破?