ICLR26 | 把规划过程从文字改成图像轨迹
多模态大模型在处理视觉推理任务时,通常采用将视觉信息转换为文本再进行推理的模式。然而,对于空间和几何类任务,语言未必是最自然的推理载体。若任务本身可在视觉状态转移中完成,是否可以完全依赖文本进行多步规划,成为一个值得探讨的问题。ICLR 2026 收录的论文《Visual Planning》提出了一种新的范式,主张在特定“视觉优先”的任务中,通过纯视觉表示进行规划,作为基于语言推理的补充。
01核心方法:Visual Planning 与 VPRL
该研究将规划定义为“中间图像序列生成”,动作不显式输出,而是由视觉状态转移隐式表达。为此,作者提出了 Visual Planning 范式及其强化学习框架 VPRL(Visual Planning via Reinforcement Learning)。该框架采用两阶段训练策略,旨在解决传统文本规划在空间几何任务上的局限性。
- Stage 1:策略初始化
使用随机轨迹对策略进行初始化,旨在保留有效输出并具备一定的探索性,为后续训练提供基础。 - Stage 2:强化学习优化
利用 GRPO(Group Relative Policy Optimization)进行强化学习,通过奖励机制优化模型规划能力。
在奖励机制设计上,VPRL 结合了动态解释器与进度估计器。系统能够区分最优前进、非最优但有效以及无效转移三种状态,并对无效动作实施重罚,从而引导模型生成更合理的视觉规划路径。
02实验评估与数据对比
研究团队在 FrozenLake、Maze 和 MiniBehavior 三个导航任务上进行了对比实验,这些任务既可用视觉求解也可用语言求解。视觉侧采用 LVM-7B 模型,文本侧则包含 Qwen2.5-VL 和 Gemini 等主流模型,评估指标为 EM(Exact Match)和 PR(Precision/Recall 综合考量)。
| 任务/模型 | VPRL (本文方法) | 文本后训练基线 | VPFT (Visual Planning Fine-tuning) |
|---|---|---|---|
| 平均性能 (EM/PR) | 80.6 / 84.9 | 显著低于 VPRL | 低于 VPRL |
| FrozenLake | 表现最优 | GRPO 优化未超 SFT | 表现较弱 |
| OOD 泛化 (大网格) | 优于 VPFT | 未明确提及 | 相对较弱 |
视觉规划与文本规划在不同任务上的表现对比
实验结果显示,VPRL 在三个任务上整体表现最佳,平均 EM 达到 80.6,PR 达到 84.9,显著优于 VPFT 与文本后训练基线。特别是在 FrozenLake 任务中,即使采用多种奖励设计,文本侧的 GRPO 方法也未能超过文本 SFT(监督微调),这表明将视觉信息压缩为文本后,模型的推理能力依然受限。此外,在 OOD(分布外)的大网格测试中,VPRL 依然保持了优于 VPFT 的性能。
03结论与分析
消融实验表明,Stage 1 的性能接近随机,其主要收益来自于 Stage 2 的强化学习。同时,从 Stage 1 初始化的 VPFT 并未表现出更强的能力,这支持了“Stage 1 主要提供探索初始化”的解释。作者通过将文本 Direct、CoT、SFT、RL 与视觉 VPFT、VPRL 放在同一任务和指标下比较,清晰地证明了差异主要归因于推理媒介与探索机制的不同。
推理媒介的效能对比
文本规划派
主张将视觉信息转为文本进行逻辑推理
- 利用成熟的 LLM 推理能力
- 在 FrozenLake 等任务上,文本 GRPO 难以超越 SFT
- 视觉信息压缩成文本后可能丢失空间细节
视觉规划派 (VPRL)
主张直接在视觉空间进行状态转移与规划
- 保留原始视觉特征,更适合空间几何任务
- 通过图像序列隐式表达动作,避免模态转换损失
- 实验中 EM 和 PR 指标均显著优于文本基线
当前文章无评论,是时候发表评论了