张大妈

Sharpa新推出的精细操作的分层 VTLA 模型

源自小红薯:具身智能路上的Andy先生🤖

02-05 05:10

传统视觉-语言-动作模型依赖视觉,在精细触控上存在局限。Sharpa的CraftNet模型通过将触觉升级为三层异步控制系统,试图让机器人补上“摸着做”的能力,解决精细操作的“最后一毫米”难题。

Sharpa新推出的精细操作的分层 VTLA 模型智能速览

  • CraftNet将触觉从输入特征升级为三层异步控制系统。

  • System 2(1Hz)作为推理大脑,负责理解指令与长程规划。

  • System 1(10Hz)作为运动大脑,规划上肢轨迹与手部预姿态。

  • System 0(100Hz)作为交互大脑,利用触觉反馈进行高频微调。

Sharpa新推出的精细操作的分层 VTLA 模型精华内容

不同于传统VLA模型“看着做”的单一路径,CraftNet通过重建经典控制结构,为机器人精细操作开辟了一条全新的“摸着做”的实现路径。

分层控制核心

CraftNet的关键创新在于,它并未简单地为VLA模型添加触觉输入,而是构建了一个全新的三层控制系统。

这种设计将触觉信息从一个单纯的“输入特征”提升到了“控制层级”,实现了不同频率的异步解耦处理。

这可以被看作是对经典控制理论的一种学习化重建,让机器人能像生物一样分层处理信息与执行动作。

慢速推理层

最高层是System 2,运行频率约为1Hz,扮演着“推理大脑”的角色。

它采用一个开源的视觉-语言模型(VLM),主要负责理解人类的指令、进行任务分解以及制定长程规划。

这一层是机器人与操作者进行交互的主要接口,处理的是宏观、逻辑性强的任务。

中速运动层

中间层是System 1,运行频率提升至10Hz,被称为“运动大脑”。

它是一个运动基础模型,负责规划并执行接触前的动作,例如物体靠近、手臂的大范围移动轨迹以及手部的预备姿态。

这一层级保证了动作的流畅性与目的性,为后续的精细操作打下基础。

高速交互层

最底层是System 0,以高达100Hz的频率运行,是整个系统的“交互大脑”。

这一模型专注于超高频的精细交互,通过实时读取触觉传感器反馈,对每个手指和手部姿态进行连续不断的微小调整。

它的核心任务是专门解决精密操作中“最后一毫米”的难题,实现真正的“摸着做”。

Sharpa的CraftNet通过分层解耦的控制架构,为具身智能的精细操作难题提供了一个颇具创造性的解决方案。它让机器人的触觉不再是“旁观者”,而是深度参与决策与执行的“操控者”。这种从“看到摸”的范式转变,是否会成为下一代机器人技术突破的关键?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章
相关兴趣推荐