什么值得买App下载 App ›
连续签到专享现金活动

第一人称数据生态 × 稳定JEPA:具身智能的"数据革命"与"算法革命"

2026年春季,具身智能领域迎来了两项关键进展:NVIDIA与佐治亚理工学院联合推出的第一人称数据生态系统EgoVerse,以及Mila团队发布的首个能稳定端到端训练的JEPA世界模型LeWorldModel。这两项成果分别解决了具身智能发展中“数据来源”与“模型训练”两大核心痛点,标志着该领域从技术探索向工程化落地迈出了重要一步。
01数据瓶颈与生态构建
当前机器人学习面临的主要挑战在于数据匮乏。主流数据集规模多在千条轨迹级别,如HAIL约9k条、RLBench约10k条,难以满足模型训练需求。相比之下,人类日常活动中产生的第一人称视频数据量巨大且蕴含丰富的操作信息。EgoVerse正是基于这一洞察,定位为一个综合性生态系统,而非单纯的数据集。它集成了数据采集工具、标注平台、基准测试及训练管线,旨在让机器人能够直接从海量人类日常操作视频中学习,降低对昂贵遥操作数据的依赖。
02算法突破:LeWorldModel
在算法层面,联合嵌入预测架构(JEPA)虽被视为具身智能的理想方向,但其训练过程极不稳定,常需依赖大量启发式技巧来对抗表征坍塌。Mila团队发布的LeWorldModel通过引入SIGReg(Spherical Isotropic Gaussian Regularization)技术,实现了无需任何tricks的稳定端到端训练。该方案在理论证明了embedding最优分布应为各向同性高斯分布的基础上,将相关理论从自监督视觉表征成功推广至世界模型与机器人控制领域。
03技术原理与实验对比
LeWorldModel的核心优势在于高信息密度与低延迟。与需要处理大量token(如约2万个)的DINO-WM相比,LeWorldModel每帧仅编码为192维的单个token,信息密度提升约200倍。实验数据显示,在Push-T、Reacher等基准测试中,LeWorldModel的样本效率显著优于DINO-WM,规划延迟从47秒降至1秒,达到了实时控制的实用标准。但在视觉复杂的3D任务(如OGBench-Cube)上,受限于视觉先验,其表现仍略逊于基于百万级预训练的DINOv2编码器方案。
对比维度LeWorldModelDINO-WM
超参数量仅需1个(λ)通常需要6个以上
编码输出192维单token约2万个token
规划延迟1秒47秒
3D任务表现较弱较强(依赖预训练视觉先验)

LeWorldModel与DINO-WM技术特性对比

04产业影响与未来范式
数据生态与算法稳定的结合,正在重塑具身智能的技术路径。EgoVerse提供了大规模的第一人称数据燃料,而LeWorldModel则提供了能够消化这些数据的高效训练框架。两者的结合预计将成为2026-2027年的主流范式:利用第一人称视频进行预训练,通过稳定JEPA构建世界模型,再结合少量机器人数据进行微调。这一路径有望加速“通用机器人大脑”从科幻概念走向工程现实。

评论

评论区空态插画

当前文章无评论,是时候发表评论了