张大妈

LatentVLA: 自监督潜在动作学习与知识蒸馏

源自小红薯:大模型幻想家(日更版)

02-02 20:19

自动驾驶VLA模型常面临轨迹预测不准、依赖语言标注及计算效率低等挑战。LatentVLA框架提出了一种创新方案,通过自监督学习与知识蒸馏,有效结合了预训练视觉语言模型的强大泛化能力与传统端到端方法的高效精确性,为实现更可靠、更实时的自动驾驶系统提供了新思路。

LatentVLA: 自监督潜在动作学习与知识蒸馏智能速览

  • 通过自监督潜在动作预测,摆脱对语言标注的依赖。

  • 利用知识蒸馏,将VLM的泛化能力迁移至轻量级网络。

  • 融合VLM特征与端到端BEV特征,兼顾语义理解与精度。

  • 整体框架旨在实现自动驾驶场景下泛化性、精度与实时性的平衡。

LatentVLA: 自监督潜在动作学习与知识蒸馏精华内容

LatentVLA的核心在于如何巧妙地结合两大技术路线的优势,其设计思路体现在三个关键层面,共同构筑了高效且精准的自动驾驶决策模型。

自监督动作学习

传统VLA模型依赖语言描述来关联视觉与动作,这不仅引入了标注者的主观偏差,也带来了高昂的数据标注成本。LatentVLA另辟蹊径,采用自监督学习范式,将 ego-centric(自我中心)的连续轨迹动作通过 VQ-VAE 模型进行离散化处理。

模型的任务转变为在无标签的驾驶数据中预测这些离散的潜在动作代码。这种方式直接从原始驾驶行为中学习,能够捕捉到更丰富、更底层的驾驶策略表征,从根本上消除了语言偏差,并显著降低了数据准备阶段的负担。

VLM知识蒸馏

视觉语言大模型(VLM)展现出强大的场景理解与泛化能力,但其庞大的参数量和计算需求使其难以在车载端实时部署。LatentVLA通过精心设计的知识蒸馏机制解决了这一矛盾。

该过程首先训练一个包含VLM的教师模型,然后将其提炼出的推理逻辑和泛化知识,迁移到一个参数量更少、结构更轻量的学生网络中。这个学生网络专注于视觉端到端的预测任务,从而在保留了VLM核心优势的同时,大幅提升了模型的推理速度,使其满足自动驾驶的实时性要求。

多模态特征融合

为了兼顾宏观的场景语义理解与微观的精确轨迹预测,LatentVLA设计了一个高效的特征融合模块。该模块利用多头注意力池化机制,将VLM处理后的高级视觉嵌入和动作嵌入,与 Transfuser 或 iPad 等经典端到端框架输出的鸟瞰图(BEV)特征进行深度融合。

这种结合使得模型既能理解交通标志、行人意图等复杂场景语义,又能基于精确的BEV空间信息进行高精度的轨迹规划,实现了两类方法优势的互补。

LatentVLA框架为自动驾驶VLA模型的发展提供了一个兼顾性能与效率的有效路径。通过自监督与知识蒸馏的结合,它不仅降低了技术门槛,也为未来更智能的自动驾驶系统落地指明了方向。如何进一步优化该框架在极端场景下的表现,将是值得关注的研究方向。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章