探讨了多模态世界模型的核心问题，从理论和实证角度验证了视觉生成在特定任务中相比纯语言推理的优势，为构建更接近人类认知方式的AI系统提供了新思路。
智能速览
多模态世界模型结合语言和视觉表征，契合人类双重编码理论
提出视觉优势假设：物理世界任务用视觉推理更具优势
创建VisWorld-Eval评估套件验证假设
视觉世界模型在空间任务上显著优于纯语言推理
抽象任务中语言世界模型已足够
开源项目推动多模态推理研究发展
精华内容
从世界模型视角出发，深入探讨了视觉生成何时以及如何辅助推理，通过理论形式化和实证验证，揭示了多模态推理的适用边界。
理论基础
世界模型概念源于人类的心智模型，人类通过将世界映射到心智表征来支持推理决策。双重编码理论指出，人类拥有语言和非语言两种心智表征系统，日常生活中会不自觉地切换使用。大型语言模型虽然具备世界建模能力，但将推理限制在纯语言维度，面临歧义和模糊性挑战。生成理解统一模型（UMMs）通过同时处理语言和图像，实现了更接近人类认知的多模态推理框架。
核心假设
基于对世界模型和双重编码理论的理解，提出了视觉优势假设：对于物理世界任务，特别是涉及空间智能的领域，视觉世界模型在推理上比纯语言模型更具天然优势。这一假设认为，视觉表征能够更直接地捕捉物理世界的空间关系和几何特性，避免语言抽象带来的信息损失。同时假设在抽象任务中，语言世界模型已足够处理，视觉辅助带来的收益有限。
方法论创新
研究形式化了多模态世界模型的两种原子能力：世界重建和世界模拟，以及基于世界模型的思维链推理框架。通过区分语言世界模型和视觉世界模型的应用场景，构建了系统的理论分析框架。为了验证视觉优势假设，系统性地收集和设计了7类任务，创建了专门的评估套件VisWorld-Eval，用于量化评估视觉世界建模对推理性能的影响。
实验验证
在BAGEL模型上进行了交错的图文CoT推理实验，包括监督微调（SFT）和强化学习（RLVR）。实验结果表明，在多种空间相关任务上，基于视觉世界模型的推理相比纯语言推理展现出显著优势。然而在迷宫和推箱子等高度抽象的任务中，视觉辅助并未带来明显提升，说明语言世界模型在某些场景下已足够。这些发现验证了视觉优势假设，并明确了多模态推理的适用边界。
这项研究不仅从理论上澄清了多模态世界模型的价值，更通过实证数据为构建更类人化的AI系统提供了实践指导。视觉与语言的互补特性为AI的未来发展开辟了新路径，但如何平衡不同模态的优势仍需深入探索。
关键评论
有评论质疑标题使用video generation而非video reasoning，询问后续是否有视频推理计划
有读者认为该研究与Omni-View在动机上相似，但做得更全面
有人询问训练数据是否有开源计划
有读者对如何构建空间智能任务表示感兴趣
