张大妈

理解世界还是预测未来?清华大学世界模型全面综述

源自公众号:视觉语言导航

02-01 19:13

人工智能领域的“世界模型”概念日益火热,但其核心目标究竟是理解世界还是预测未来,众说纷纭。一项来自清华大学的全面综述创新性地将世界模型分为构建隐含表示和预测未来状态两大类,系统梳理了其在自动驾驶、机器人等领域的应用进展,为理解这一前沿技术提供了清晰的框架与新视角。

理解世界还是预测未来?清华大学世界模型全面综述智能速览

  • 世界模型可分为理解运行机制和预测未来状态两大类别。

  • 在自动驾驶领域,世界模型负责感知场景和预测参与者行为。

  • 视频生成模型如Sora展示了世界模拟的潜力,但物理准确性仍有待提升。

  • 大型语言模型(LLM)内部已发现类似人类认知地图的结构。

  • 未来的研究需解决物理规则融合、社会维度丰富及伦理安全等挑战。

理解世界还是预测未来?清华大学世界模型全面综述精华内容

要真正构建世界模型,我们不仅要让机器“看懂”世界,更要让它“预见”未来。这背后涉及两条不同的技术路径。

构建世界的隐含表示

世界模型的第一条路径是构建外部世界的隐含表示,旨在理解其运行机制。这在基于模型的强化学习(MBRL)中表现明显,模型通过学习状态转移动态和奖励函数,在潜在空间中进行假设推演,大幅降低试错成本。表示学习是关键,早期工作依赖自编码器,而近期则结合视觉编码器与潜在动态模型,有效处理高维输入。

与此同时,大型语言模型(LLM)也被发现蕴含丰富的世界知识。研究证实,LLaMA2等模型内部存在“空间神经元”和“时间神经元”,能学习跨尺度的时空表示。此外,模型还能构建类似人类的“认知地图”,用于空间推理,并初步展现出“心理理论”能力,以理解人类行为背后的意图与状态。

预测未来的物理世界

第二条路径聚焦于预测外部世界的未来状态,以支持决策。以Sora为代表的大规模视频生成模型是典型,它能根据文本、图像等输入生成长达一分钟的高保真、时间连贯的视频,初步展现出模拟现实物理动态的能力,如光影变化和物体熔化。

然而,这类模型也存在局限,如因果推理能力较弱,无法主动干预预测,且在复杂物理定律(如流体力学)的模拟上仍有偏差。除了视频生成,研究正转向构建具身环境模型,如UniSim、Pandora等,它们能够动态生成可交互的室内外场景,为智能体提供第一人称的动作驱动预测,从而更好地适应现实世界的复杂性。

三大关键应用场景

世界模型的理论在不同应用领域展现出侧重。在自动驾驶中,它主要服务于感知和预测模块,利用BEVFormer等模型构建鸟瞰图表示,并用Wayformer等预测其他交通参与者的未来轨迹,最终支撑规划决策。

在机器人领域,世界模型帮助机器人通过视觉和语言表示理解环境,并利用视频生成模型预测未来状态,以完成序列性任务。DayDreamer等模型已证明能帮助机器人在现实世界中直接学习,减少对模拟的依赖。在社交仿真方面,基于LLM的智能体(如AI Town中的智能体)能够通过存储记忆和形成信念,模拟出逼真的个体和群体社交行为。

亟待解决的开放性问题

尽管进展显著,世界模型仍面临多重挑战。首先是物理规则的融合,现有模型难以准确模拟反事实场景,混合了第一性原理的生成模型(如Genesis)可能是一个方向。其次是社会维度的丰富,如何设计能模拟真实人类行为的智能体,并建立可靠的评估体系,仍是难题。

此外,桥接模拟与现实的“鸿沟”、提升生成模型的模拟效率(尤其是在高速决策场景下),以及解决数据隐私、危险场景模拟和责任归属等伦理安全问题,都是未来研究必须直面的关键课题,需要学界和业界共同努力探索。

世界模型正走在两条并行的道路上:一条致力于深刻理解,另一条则专注于精准预测。随着技术融合,未来的世界模型能否真正实现既懂物理又通人性,从虚拟模拟走向现实应用,将是决定通用人工智能能否突破的关键一步。

内容由AI生成
1
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章
相关兴趣推荐