当机器人在执行“找椅子”这样的指令时,常因视野局限而反复迷失。传统导航方法只能预测未来几步动作,如同“摸黑走路”。一项名为 SparseVideoNav 的新范式,通过引入视频生成模型,让机器人能在1秒内“预见”20秒后的环境,从根本上解决了导航的“短视”难题,实现了从“边走边猜”到“提前规划”的跨越。
智能速览
传统LLM导航存在“短视”难题,难以处理远距离目标。
SparseVideoNav引入视频生成模型,实现远见规划。
机器人可在1秒内预判20秒后的环境,推理速度仅0.79秒。
在复杂任务中,导航成功率达到主流方案的2.5倍。
该技术标志着从“语言决策”到“视觉规划”的范式转变。
精华内容
这一突破的核心在于思维模式的转变:不再预测下一步动作,而是直接生成未来场景。这让机器人仿佛拥有了“预知”能力,从而做出更优的全局决策。
导航的短视困境
机器人理解“找椅子”的指令,却在走廊里反复旋转,根源在于“短视”。传统LLM导航方法依赖语言模型预测未来4-8步动作,面对走廊尽头或视野外的远距离目标时,因缺乏全局环境认知而容易陷入局部最优,导致反复探索甚至失败。这种“边走边猜”的模式在真实复杂环境中效率极低。
预见未来的方案
SparseVideoNav创造性地将视频生成模型引入真实世界导航,用“稀疏视频生成”取代短时动作预测。通过对未来20秒的视觉场景进行推理,机器人能提前“看到”目标位置和路径上的潜在障碍。为实现实时部署,团队构建了140小时真实世界数据,并结合稀疏采样与扩散蒸馏技术,将整个推理过程压缩至仅需0.79秒,达到了真机实时部署的要求。
实测性能飞跃
在极具挑战性的Beyond-the-View任务中,即目标位于初始视野之外的场景,SparseVideoNav的成功率达到了主流LLM导航方法的2.5倍。尤其值得一提的是,在夜间等低光照场景下,当其他方案的成功率均为0时,该方案依然保持了有效性,成为唯一可行的选择,证明了其强大的鲁棒性和在极端环境下的泛化能力。
导航范式革命
SparseVideoNav的意义远不止于性能提升,它标志着机器人导航领域的一次根本性范式转变。决策的核心驱动力,从基于语言指令的逐步推理,转向基于视觉生成的全局规划。这为具身智能体在复杂动态环境中实现更高级别的自主导航开辟了全新道路,让机器人真正开始拥有理解并预测物理世界的能力。
SparseVideoNav 的出现,为解决机器人导航的“短视”问题提供了极具想象力的答案。它不仅是技术上的一次飞跃,更是对机器人如何感知和规划世界的重新思考。当机器能够预见未来,还期待它们能完成哪些更复杂的任务?