什么值得买App下载 App ›
连续签到专享现金活动

世界模型(World Model)是不是机器人(具身智能)下一个“奇点时刻”?

具身智能的核心目标在于实现“泛化”,即机器人不仅能完成教过的任务,还能快速适应未见过的新任务。目前业界主要有两条技术路线:一是输出动作的 VLA 模型(Vision-Language-Action),二是输出未来状态的世界模型。然而,这两条路线在实际落地中均面临显著瓶颈:VLA 模型依赖昂贵且稀缺的动作标注数据,而世界模型则因需要进行像素级的视频预测,导致算力消耗巨大且效率低下。如何突破这些限制,成为具身智能发展的关键议题。

主流具身智能路线对比

直接输出动作
  • 输入视觉图像与语言指令,直接输出机械臂位姿或电机力矩。

  • 优势:端到端控制,逻辑直接。

  • 劣势:训练数据难以获取,低成本视频(如工人操作录像)缺乏动作标注。

预测未来状态
  • 通过预测未来视频来理解世界运行规律,再反推动作。

  • 优势:可利用无动作标注的视频数据。

  • 劣势:像素级预测算力消耗巨大,且包含大量与决策无关的冗余信息。

为了融合上述两条路线的优势并规避其短板,隐动作模型(Latent Action Model,LAM)应运而生。LAM 旨在直接对视频中的“变化”进行建模,生成低维的隐动作表示。它无需人工标注,通过自监督学习从海量视频中自动聚类学习各种变化(如抓取、移动)。LAM 既能像世界模型一样利用无标注视频,又能像 VLA 一样提供动作指导,从而弥合了两种主流方法之间的鸿沟。
01评测基准:LARYBench
尽管 LAM 理论潜力巨大,但在实际研究中面临评估难题。隐动作只是中间变量,从隐动作到机器人任务成功率的管线长、变量多,难以稳定评估。为此,LARYBench 应运而生。该基准通过设计动作分类任务,专门测试 LAM 用于动作规划(what to do)的能力,而非仅仅是动作细节(how to do)的还原。
评估维度评估指标目标
高层级动作语义动作分类预测准确率衡量模型理解“做什么”的能力(数值越大越好)
低层级动作细节机械臂动作回归误差衡量模型刻画“怎么做”的能力(数值越小越好)

LARYBench 评估体系

02关键实验发现
基于 LARYBench 的对比实验揭示了技术选型的一些意外结论。在具身智能应用方面,通用的视频编码器(如 V-JEPA 2 和 DINOv3)表现出了比专门训练的具身 LAM 更好的效果。这表明“通用性”在当前阶段至关重要,因为专用 LAM 的训练数据量远小于通用编码器。实验进一步提出的 General LAM 结构也证实,利用预训练好的通用视觉表征,可以在一定程度上提升具身 LAM 的性能。
03未来展望
  • 技术融合:LAM 作为连接工具,既能辅助 VLA 利用无标注数据,又能优化世界模型的预测效率,未来将更强调多路线的取长补短。
  • 基准驱动:LARYBench 的出现标志着隐动作研究进入主流,未来将支持更多关于模型结构和参数(如 codebook size、latent dimension)的优化研究。
  • 规模效应:随着具身 LAM 预训练规模的扩大,其泛化能力有望进一步提升,逐步缩小与通用编码器的差距。

评论

评论区空态插画

当前文章无评论,是时候发表评论了