什么值得买App下载 App ›
连续签到专享现金活动

ICLR26 | 把规划过程从文字改成图像轨迹

多模态大模型在处理视觉推理任务时,通常采用将视觉信息转换为文本再进行推理的模式。然而,对于空间和几何类任务,语言未必是最自然的推理载体。若任务本身可在视觉状态转移中完成,是否可以完全依赖文本进行多步规划,成为一个值得探讨的问题。ICLR 2026 收录的论文《Visual Planning》提出了一种新的范式,主张在特定“视觉优先”的任务中,通过纯视觉表示进行规划,作为基于语言推理的补充。
01核心方法:Visual Planning 与 VPRL
该研究将规划定义为“中间图像序列生成”,动作不显式输出,而是由视觉状态转移隐式表达。为此,作者提出了 Visual Planning 范式及其强化学习框架 VPRL(Visual Planning via Reinforcement Learning)。该框架采用两阶段训练策略,旨在解决传统文本规划在空间几何任务上的局限性。
  1. Stage 1:策略初始化
    使用随机轨迹对策略进行初始化,旨在保留有效输出并具备一定的探索性,为后续训练提供基础。
  2. Stage 2:强化学习优化
    利用 GRPO(Group Relative Policy Optimization)进行强化学习,通过奖励机制优化模型规划能力。
在奖励机制设计上,VPRL 结合了动态解释器与进度估计器。系统能够区分最优前进、非最优但有效以及无效转移三种状态,并对无效动作实施重罚,从而引导模型生成更合理的视觉规划路径。
02实验评估与数据对比
研究团队在 FrozenLake、Maze 和 MiniBehavior 三个导航任务上进行了对比实验,这些任务既可用视觉求解也可用语言求解。视觉侧采用 LVM-7B 模型,文本侧则包含 Qwen2.5-VL 和 Gemini 等主流模型,评估指标为 EM(Exact Match)和 PR(Precision/Recall 综合考量)。
任务/模型VPRL (本文方法)文本后训练基线VPFT (Visual Planning Fine-tuning)
平均性能 (EM/PR)80.6 / 84.9显著低于 VPRL低于 VPRL
FrozenLake表现最优GRPO 优化未超 SFT表现较弱
OOD 泛化 (大网格)优于 VPFT未明确提及相对较弱

视觉规划与文本规划在不同任务上的表现对比

实验结果显示,VPRL 在三个任务上整体表现最佳,平均 EM 达到 80.6,PR 达到 84.9,显著优于 VPFT 与文本后训练基线。特别是在 FrozenLake 任务中,即使采用多种奖励设计,文本侧的 GRPO 方法也未能超过文本 SFT(监督微调),这表明将视觉信息压缩为文本后,模型的推理能力依然受限。此外,在 OOD(分布外)的大网格测试中,VPRL 依然保持了优于 VPFT 的性能。
03结论与分析
消融实验表明,Stage 1 的性能接近随机,其主要收益来自于 Stage 2 的强化学习。同时,从 Stage 1 初始化的 VPFT 并未表现出更强的能力,这支持了“Stage 1 主要提供探索初始化”的解释。作者通过将文本 Direct、CoT、SFT、RL 与视觉 VPFT、VPRL 放在同一任务和指标下比较,清晰地证明了差异主要归因于推理媒介与探索机制的不同。

推理媒介的效能对比

文本规划派

主张将视觉信息转为文本进行逻辑推理

  • 利用成熟的 LLM 推理能力
  • 在 FrozenLake 等任务上,文本 GRPO 难以超越 SFT
  • 视觉信息压缩成文本后可能丢失空间细节
视觉规划派 (VPRL)

主张直接在视觉空间进行状态转移与规划

  • 保留原始视觉特征,更适合空间几何任务
  • 通过图像序列隐式表达动作,避免模态转换损失
  • 实验中 EM 和 PR 指标均显著优于文本基线

评论

评论区空态插画

当前文章无评论,是时候发表评论了