当前位置:
AIGC文章详情

张大妈

以理想汽车为例,探寻自动驾驶的「大脑」进化史-VLA架构解析

源自公众号:StrongerTang

01-23 15:24

自动驾驶技术范式迭代的背后,是对一个‘可解释大脑’的永恒追求。传统端到端模型如同黑箱,决策过程难以捉摸;而视觉语言模型虽能理解,却无法直接控制车辆,存在‘行动鸿沟’。本文深入解析VLA(视觉-语言-行动)架构,探讨它如何融合感知、推理与行动,打造一个真正能思考、会解释、可执行的自动驾驶新范式,以解决根本性信任与效率难题。

以理想汽车为例,探寻自动驾驶的「大脑」进化史-VLA架构解析智能速览

  • 端到端(VA)模型是“黑箱”,决策过程无法解释。

  • 视觉语言模型(VLM)存在“行动鸿沟”,无法直接控制车辆。

  • VLA架构实现了“全程可求导”的真端到端,统一了感知、语言与行动。

  • “快慢双核”架构存在异步冲突与信息损失等根本缺陷。

  • VLA由视觉编码器、大语言模型和动作解码器三大核心技术栈构成。

  • VLA的发展经历了从“解释器”到“决策核心”的四个阶段。

以理想汽车为例,探寻自动驾驶的「大脑」进化史-VLA架构解析精华内容

VLA的革命性并非空中楼阁,而是建立在对过往技术范式的深刻反思之上。要理解它如何解决‘黑箱’与‘鸿沟’的难题,就需要深入其技术架构的演进与核心组件的构建逻辑。

“真”端到端的回归

行业早期为解决端到端(VA)模型无法解释的问题,引入了VLM,形成了“快慢双核”架构。然而,这种拼凑方案存在根本缺陷:快慢系统运行频率不一(如15Hz与5Hz),易导致决策冲突;VLM通过文本等低效符号“指导”快系统,造成信息损失与架构臃肿;两系统独立训练,无法端到端联合优化,迭代效率低下。VLA则彻底颠覆了这一结构,它是一个统一的、全程可求导的单一模型,将视觉、语言、行动熔为一体,实现了真正高效的自动驾驶数据闭环驱动。

破解四大顽疾

VLA的诞生是为了解决“快慢双核”架构无法克服的四大痛点。首先是长尾场景,VA模型无法识别和理解非标准的文字标识。其次是语义鸿沟,VLM输出的文本指令与车辆控制器需要的物理轨迹数值间存在巨大鸿沟。再者是空间精度低,强行让VLM输出轨迹,其结果往往歪歪扭扭,不符合物理规律。最后是时序瓶颈,VLM因Token长度限制,处理历史信息的能力极弱,难以进行长时程规划,无法满足驾驶决策的动态需求。

三大核心积木

一个VLA系统由三大核心组件构成。视觉编码器(V)是“眼睛”,顶尖方案采用SigLIP(识别内容)与DINOv2(理解空间)双编码器,或如理想MindVLA采用3D高斯建模(3DGS)技术。语言编码器(L)是“大脑”,主流选择为LLaMA家族或Qwen系列,负责跨模态推理,理想则自研了原生支持3D输入的MindGPT。动作解码器(A)是“手脚”,其“黄金标准”是基于扩散的Transformer,它能生成平滑、拟人化的“黄金轨迹”,并通过ODE Sampler等技术将迭代去噪压缩至2-3步,满足实时性要求。

从解释器到决策核心

VLA在自动驾驶中的角色经历了四个演进阶段。阶段一,语言模型仅作为“解释器”,输出场景描述文本。阶段二,成为模块化VLA的规划组件,生成中间指令,但存在延迟和级联错误。阶段三,进化为统一的端到端VLA,直接映射传感器输入到轨迹,反应快但缺乏长程推理。阶段四,即当前最前沿的推理增强型VLA,以ORION、Impromptu VLA为代表,在行动前先进行“思维链”(CoT)推理,将语言模型提升为系统的“决策核心”,真正实现了先想明白再行动。

VLA架构的崛起,标志着自动驾驶正从‘执行者’向‘思考者’迈进。它通过技术融合,不仅解决了可解释性与效率的矛盾,更为应对复杂的长尾场景提供了全新路径。未来,随着推理能力的深化和安全验证体系的完善,这种能沟通、会思考的‘大脑’将如何重塑我们的出行方式,值得持续关注。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章