CoRL 2025|所见即所飞:VLM直接操控无人机,无需训练也能精准导航,成功率提升63%!
来自台湾阳明交通大学与台大的研究团队在 CoRL 2025 上提出了名为 See, Point, Fly(SPF)的框架。该框架利用视觉-语言模型(VLM)直接操控无人机,仅需图像和自然语言指令即可完成目标定位、路径规划与闭环飞行。SPF 采用完全无需训练的设计策略,在模拟和真实环境中分别取得了 93.9% 和 92.7% 的成功率,相比上一代方法提升了 63%,实现了无人机从“语义理解”到“物理行动”的直接转换。
01技术背景:从文本生成到空间控制
传统的 VLM 无人机导航方案通常将任务视为“文字输出问题”,即由模型生成“turn left”或“go forward”等动作文本,再交由控制器解析执行。这种方式存在语义与物理空间的转换损耗。SPF 的核心逻辑在于改变 VLM 的输出形式,让其不再生成文本指令,而是直接在图像上输出结构化数据,包括目标点的 2D 像素坐标、预测的飞行距离以及障碍物的边界框。
02核心原理:零训练闭环控制
SPF 系统通过冻结的 VLM(如 Gemini 2.0/2.5、GPT-4.1、Claude 3.7 等)直接进行推理,无需任何模型微调。其工作流程分为三个阶段:
- 理解阶段
VLM 接收图像与语言指令,输出包含目标点、预测距离与障碍物框的结构化 JSON。 - 控制阶段
Action-to-Control 模块将 2D 航点通过针孔模型反投影为 3D 位移向量,并分解为偏航、俯仰、升降等底层控制信号。 - 执行阶段
无人机实时更新视觉输入并重复上述循环,直到任务完成。
03关键创新:语言坐标化与自适应步长
技术创新解析
语言变“坐标”
- VLM 根据语言理解在画面中选出目标区域并标出飞行点,将复杂语义转化为可执行动作。
- 具备天然的空间一致性,无需训练导航网络即可处理模糊指令(如“飞到看起来最舒适的椅子”)。
自适应步长
- 系统根据 VLM 输出的“深度提示”动态调整飞行步长。
- 在开阔场景中迈大步、快速前进;在狭窄空间里则谨慎微调。
- 实验显示,该机制使相同任务下的飞行时间从 61 秒缩短至 28 秒。
04实验数据:多场景下的高效表现
研究团队在 Drone Racing League Simulator 和真实无人机上设计了 34 个任务场景,涵盖静态导航、动态避障、多阶段长程飞行、推理与语义理解、搜索与跟随等类型。实验结果显示,SPF 在仿真和真实环境中的成功率均超过 92%,显著优于基线方法。
| 方法 | 仿真环境成功率 | 真实环境成功率 |
|---|---|---|
| SPF (本文方法) | 93.9% | 92.7% |
| TypeFly (上一代) | 0.9% | - |
| PIVOT (基线) | 28.7% | - |
不同导航方法在仿真与真实环境下的成功率对比
真实环境中的飞行轨迹对比表明,SPF 的路线更加平滑、精准,能够稳定避障并到达目标;而其他基线方法常出现偏航、漂移甚至中途停滞。该框架证明了无需为机器人训练专用模型,通用 VLM 也能直接驱动真实世界的物理行为,标志着大模型进入“低空智能时代”的重要技术跨越。
当前文章无评论,是时候发表评论了