自动驾驶BEV感知技术中,Dense BEV方案因支持多传感器融合而备受青睐。本文深入解析基于BevFormer的Dense BEV优化方案,通过减少冗余计算、采用BPU友好操作,在保持精度的前提下实现30%性能提升,为端侧部署提供实用经验。
智能速览
BEVFormer采用Dense BEV方案便于多传感器融合和多任务预测
原方案中SpatialCrossAttention存在大量冗余计算和IO开销
优化方案通过gather/scatter操作减少空间融合复杂度
将gather/scatter替换为BPU更友好的Gridsample操作
在征程6M平台上推理性能提升30%,精度保持相当
精华内容
针对BEVFormer在端侧部署的性能瓶颈,通过深度分析模型结构特点,提出了一套系统性的优化方案,既保证了算法精度,又显著提升了推理效率。
技术背景
BEV感知技术主要有sparse和dense两种路线。Dense BEV方法通过内外参信息将2D特征融合到BEV特征空间,便于实现多传感器融合和多任务预测,在自动驾驶领域应用广泛。BEVFormer作为Dense BEV的代表方案,其SpatialCrossAttention模块负责空间融合,但原方案存在动态Shape问题。V1版本通过去掉BevMask解决了部署问题,却引入了大量冗余计算。
优化思路
深入分析BevMask生成原理后,发现可通过引入gather/scatter操作减少空间融合复杂度。具体做法是先用gather从BEV空间提取有效点进行特征融合,再用scatter还原到原位置,最后根据每个bevpillar的有效点数计算均值。这种思路既减少了计算量,又避免了动态Shape问题。
BPU适配
gather/scatter操作在BPU上性能不佳,通过分析index计算特性,发现可替换为BPU更友好的Gridsample操作。由于index仅受camera内外参影响且变化频率低,将index生成逻辑移至前处理,按需计算并转换为Gridsample所需的grid格式,直接输入模型使用。
性能表现
在征程6M平台上的实测数据显示,优化后的BEVFormer-OPT模型相比V1.0版本,在精度相当的情况下推理性能提升30%。NDS指标从28.5提升到36.8,FPS保持在30左右,mAP维持在0.371水平。这种优化经验可推广到其他相似结构的模型部署中。
当前文章无评论,是时候发表评论了