李曼玲、李飞飞等联手具身大模型评估新范式
当今的多模态大模型(如 GPT-5.2, Gemini-3 Pro)在各类视觉问答榜单上屡破纪录。然而,如果希望将这些能力延伸到更真实的物理场景中,模型在空间理解上可能会面临不小的挑战。
人类进入陌生公寓时,能通过推门看到沙发、走廊瞥见卧室的床、前方发现冰箱,从而在脑海中构建出“心理地图”,轻松回答“沙发在冰箱的哪个方向”这类空间问题。这种不假思索的空间认知能力,对当前的基础模型而言却存在较大困难。研究发现,现有的评估范式与真实物理世界的需求相比,存在显著差异。
| 维度 | 传统基准测试 | 真实物理环境 |
|---|---|---|
| 观测视角 | 上帝视角(涵盖全局的静态图片) | 部分可观测(视野局部,需主动探索) |
| 行为模式 | 被动回答(提供固定的观察数据) | 主动决策(自主决定探索方向与目标) |
| 记忆机制 | 静态常识(基于给定信息) | 动态修正(物品变动时需更新空间记忆) |
评估范式与真实环境需求差异对比
针对上述差异,西北大学李曼玲团队、斯坦福大学李飞飞与吴佳俊团队,以及华盛顿大学Ranjay Krishna团队共同牵头提出了“Theory of Space”(空间理论)。该研究探讨了当减少对完整给定信息的依赖,要求基础模型通过主动探索来认识环境时,其空间认知能力会有怎样的表现。
当前文章无评论,是时候发表评论了