什么值得买App下载 App ›
连续签到专享现金活动

机器人控制新突破!用语义mask代替RGB预测,性能提升显著!

现有的通用机器人操作策略在现实世界的视觉可变性面前,往往难以保持可靠性。尽管基于大规模视频生成预训练的世界模型已成为一种有前景的范式,但标准方法通常侧重于高保真的RGB视频预测。然而,这种基于光度学的目标往往与控制效用不一致,导致模型过拟合于光照变化、动态背景等与动作选择无关的因素,最终引发脆弱的控制策略。针对这一问题,Mask World Model (MWM) 被提出,它利用视频扩散架构来预测语义掩码的演变,而非像素帧。
01RGB预测的局限性与语义预测优势

传统RGB预测 vs 语义Mask预测

传统RGB预测

侧重于像素级的高保真还原,容易受到环境噪声干扰。

  • 预测目标为RGB像素值,包含纹理、光照、反射等大量视觉干扰。
  • 模型容量需分配给外观因素,导致算力浪费且泛化能力弱。
  • 在光照变化或背景杂乱的场景下,策略容易出现驱动错误。
语义Mask预测 (MWM)

关注物体结构与交互几何,过滤无关视觉细节。

  • 预测目标为语义Mask序列,聚焦于物体轮廓和关键结构。
  • 通过几何信息瓶颈,强制模型捕获物理动力学和接触关系。
  • 对外观变化具有不变性,提升了决策的鲁棒性和远期视野。
02技术架构与实现逻辑
MWM的实现包含两个核心部分:Mask Dynamics Backbone(掩码动态骨干网络)和Diffusion Policy Head(扩散策略头)。其工作逻辑可被形象地理解为“画家”与“棋手”的配合:
  • 画家(掩码动态骨干网络):负责处理输入的RGB图像,利用3D位置编码和自适应层归一化等技术,精准预测物体的轮廓、结构及其随时间的演变,过滤掉光照和背景等噪声。
  • 棋手(扩散策略头):根据骨干网络提供的语义Mask信息,理解物体状态和交互几何,从而生成具体的动作序列,实现端到端的控制。
03实验性能与验证结果
在模拟基准LIBERO和真实机器人测试集RLBench的评估中,MWM展现了优越的性能。特别是在长视距任务LIBERO-10上,该方法取得了显著的成绩增益。实验数据表明,在光照、物体颜色及背景发生偏移的复杂视觉条件下,MWM的成功率远超基于RGB的策略,证明了其在真实世界视觉变异性下的鲁棒性。
任务/指标MWMGE-ACT (RGB-based)
LIBERO-10 成功率98.3%55.8%
LIBERO Object 成功率98.0%84.2%
RLBench Mean Success Rate67.5%42.5%

MWM与传统RGB方法在不同任务上的成功率对比

综上所述,Mask World Model通过将预测空间从RGB像素转移到语义Mask,在保持输入为原始RGB图像的同时,有效避免了过拟合无关外观因素的问题。这一创新不仅显著提升了机器人策略的稳健性和泛化能力,也为通用机器人的策略学习提供了新的研究方向。

评论

评论区空态插画

当前文章无评论,是时候发表评论了