世界模型(World Model)是不是机器人(具身智能)下一个“奇点时刻”?
具身智能的核心目标在于实现“泛化”,即机器人不仅能完成教过的任务,还能快速适应未见过的新任务。目前业界主要有两条技术路线:一是输出动作的 VLA 模型(Vision-Language-Action),二是输出未来状态的世界模型。然而,这两条路线在实际落地中均面临显著瓶颈:VLA 模型依赖昂贵且稀缺的动作标注数据,而世界模型则因需要进行像素级的视频预测,导致算力消耗巨大且效率低下。如何突破这些限制,成为具身智能发展的关键议题。
主流具身智能路线对比
直接输出动作
输入视觉图像与语言指令,直接输出机械臂位姿或电机力矩。
优势:端到端控制,逻辑直接。
劣势:训练数据难以获取,低成本视频(如工人操作录像)缺乏动作标注。


预测未来状态
通过预测未来视频来理解世界运行规律,再反推动作。
优势:可利用无动作标注的视频数据。
劣势:像素级预测算力消耗巨大,且包含大量与决策无关的冗余信息。
为了融合上述两条路线的优势并规避其短板,隐动作模型(Latent Action Model,LAM)应运而生。LAM 旨在直接对视频中的“变化”进行建模,生成低维的隐动作表示。它无需人工标注,通过自监督学习从海量视频中自动聚类学习各种变化(如抓取、移动)。LAM 既能像世界模型一样利用无标注视频,又能像 VLA 一样提供动作指导,从而弥合了两种主流方法之间的鸿沟。
01评测基准:LARYBench
尽管 LAM 理论潜力巨大,但在实际研究中面临评估难题。隐动作只是中间变量,从隐动作到机器人任务成功率的管线长、变量多,难以稳定评估。为此,LARYBench 应运而生。该基准通过设计动作分类任务,专门测试 LAM 用于动作规划(what to do)的能力,而非仅仅是动作细节(how to do)的还原。
| 评估维度 | 评估指标 | 目标 |
|---|---|---|
| 高层级动作语义 | 动作分类预测准确率 | 衡量模型理解“做什么”的能力(数值越大越好) |
| 低层级动作细节 | 机械臂动作回归误差 | 衡量模型刻画“怎么做”的能力(数值越小越好) |
LARYBench 评估体系
02关键实验发现
基于 LARYBench 的对比实验揭示了技术选型的一些意外结论。在具身智能应用方面,通用的视频编码器(如 V-JEPA 2 和 DINOv3)表现出了比专门训练的具身 LAM 更好的效果。这表明“通用性”在当前阶段至关重要,因为专用 LAM 的训练数据量远小于通用编码器。实验进一步提出的 General LAM 结构也证实,利用预训练好的通用视觉表征,可以在一定程度上提升具身 LAM 的性能。
03未来展望
- 技术融合:LAM 作为连接工具,既能辅助 VLA 利用无标注数据,又能优化世界模型的预测效率,未来将更强调多路线的取长补短。
- 基准驱动:LARYBench 的出现标志着隐动作研究进入主流,未来将支持更多关于模型结构和参数(如 codebook size、latent dimension)的优化研究。
- 规模效应:随着具身 LAM 预训练规模的扩大,其泛化能力有望进一步提升,逐步缩小与通用编码器的差距。
当前文章无评论,是时候发表评论了