张大妈

10亿参数PointWorld,单图实时模拟3D未来

源自小红薯:AI朋友圈

02-01 18:40

PointWorld 作为一个拥有 10 亿参数的 3D 世界模型,展示了从单张图像实时模拟可交互环境的惊人能力。它创新地将环境状态与机器人动作统一为 3D 点流,解决了传统方法中数据异构的难题,为机器人具身智能的发展提供了全新的技术路径。

10亿参数PointWorld,单图实时模拟3D未来智能速览

  • 核心思想是将物理统一在空间与时间中,用3D点流表示一切。

  • 通过精密数据工程,构建了包含200万条轨迹的大规模3D数据集。

  • 模型采用Chunked Prediction,实现0.1秒延迟的实时未来轨迹预测。

  • 实验验证3D世界模型同样遵循“大力出奇迹”的Scaling Law。

10亿参数PointWorld,单图实时模拟3D未来精华内容

PointWorld的突破不仅在于其惊人的规模和实时性,更在于其回归物理本质的设计哲学,它如何通过统一表示和数据工程实现这一切,值得我们深入探究。

统一表示的智慧

PointWorld的核心洞察极为质朴:物理存在于空间和时间。为了让模型理解“交互”,它摒弃了像素与关节角度这类异构数据,将环境状态和机器人动作全部统一映射为3D点流。

这种“具身的几何”表示法,让机器人不再是一个抽象的指令发送者,而是一个有体积、有形状的实体。模型能直接理解“我的手(几何体)是如何推动这个箱子(几何体)的”,天然解决了单臂与人形机器人等不同形态的跨具身问题。

数据工程的胜利

作者反复强调“3D视觉正在成熟”,这背后是精密的数据工程。研究利用FoundationStereo进行深度估计,VGGT处理相机位姿,CoTracker3负责点跟踪,形成了一套自动化流水线。

这套系统成功将DROID数据集中充满噪声的传感器数据,清洗成了高质量的3D训练集,最终构建了约200万条轨迹(500小时)的超大规模数据集,成为目前同类中最大的3D动力学数据集。

架构与定律

在模型架构上,PointWorld的输入是RGB-D点云与机器人点流,通过DINOv3提取视觉特征后,交由PTv3处理。其预测方式采用Chunked Prediction,一次前向传播即可预测未来1秒(10步)的轨迹。

这种方式不仅比自回归模型快,延迟仅0.1秒满足实时性,还减少了误差累积。实验清晰地展示了,随着模型参数从50M增加到1B,预测的L2误差呈对数线性下降,证明了3D世界模型也遵循“大力出奇迹”的Scaling Law。

PointWorld以其统一的设计哲学和强大的工程实践,为构建通用3D世界模型树立了新的标杆。它证明了通过规模化数据与模型,能够实现对物理世界更真实的模拟。这项技术将如何重塑机器人的学习与交互方式?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章
相关兴趣推荐