针对零样本视觉语言导航(VLN)代理因缺乏全局空间认知而导致的性能瓶颈,一种全新的端到端解决方案应运而生。该方法通过预探索环境构建空间场景图(SSG),并利用SpatialNav代理高效利用全局信息,显著提升了长程导航的准确性与效率,为具身智能的实际应用提供了新思路。
智能速览
提出预探索与任务执行两阶段设定,更贴近真实应用。
构建空间场景图(SSG),实现环境全局结构与语义的结构化表征。
SpatialNav代理融合多源信息,突破局部感知局限。
远程目标定位技术赋予智能体“未来感知”能力,支持长远规划。
该方法显著优于现有零样本代理,性能逼近监督学习模型。
精华内容
零样本VLN代理如何突破局部感知的枷锁?关键在于构建并高效利用全局空间知识。一种结合预探索、空间场景图与专用代理的新框架,正在重塑导航智能体的决策逻辑。
新设定:预探索环境
传统VLN设定要求智能体仅凭局部在线感知完成任务,这与许多真实场景不符。新方案提出了预探索与任务执行的两阶段设定。在预探索阶段,智能体先完整探索环境,通过成熟的SLAM系统获取环境的完整3D点云数据,为后续构建全局知识库奠定基础。
这种设定模仿了扫地机器人在固定家庭环境中工作的模式,让智能体有机会在执行具体导航指令前,先建立一个对环境的宏观认知,从而从根本上改变了信息输入的局限性。
核心:空间场景图
空间场景图是该方案的核心创新,它将预探索获取的3D点云转化为结构化的环境知识图谱。SSG采用层级结构组织信息,节点代表建筑、楼层、房间和具体的3D物体,每个节点都包含其边界框、位置、旋转和尺寸等空间属性。
节点之间的边则表示层级间的包含关系,如建筑包含楼层,楼层包含房间,房间包含物体。这种“楼层-房间-物体”的层级化知识图谱,完整捕捉了环境的全局空间布局与语义信息,为智能体决策提供了坚实的知识底座。
模型:SpatialNav代理
SpatialNav是基于多模态大语言模型(MLLM)的零样本导航代理,专门设计用来高效利用SSG提供的全局信息。它通过三个核心组件解决局部感知的痛点:代理中心空间图从SSG中提取任务相关的局部全局信息,避免无关信息干扰;罗盘式视觉表示改进了全景图的输入方式,降低了token开销并保证了方向一致性。
最为关键的是远程目标定位技术,它让智能体能够预判选择某条路径后能观测到的物体及其距离,实现了“未来感知”辅助长远规划。最终,智能体的决策输入融合了语言指令、代理中心空间图、罗盘式视觉观测、轨迹历史和远程目标语义描述这五类信息。
该方案的成功验证了全局空间表征对于通用导航代理的决定性作用。它不仅是技术上的突破,更推动了具身智能从实验室走向真实应用的进程,未来在机器人等领域潜力巨大。