机器人要学会抓一只杯子,光看视频不够,还得有人一遍遍做给它看。
操作员戴上 PICO 4 Ultra,手在空中捏合,旁边的机械臂跟着合拢夹爪;同一个动作要一遍遍重复。头显正面的摄像头、手部关键点和身体姿态被同步录下,存成训练数据。

过去一年多,这样的场景在机器人实验室里越来越多。PICO 的用户里,除了玩家,开始出现机器人公司和高校实验室。
复现宇树 G1 遥操作方案的人提到,最终选的是 PICO 4 Ultra,配 NVIDIA 的方案,“文档写得真好,非常详细,复现没踩什么坑”。小红书
为什么是 PICO?一位做全身运控的开发者把原因说得很直白:Meta Quest 在国内没有官方销售渠道,Vision Pro 的价格和供给都不适合规模化采购。知乎
而 PICO 有正规供应链,企业版还带官方 Motion Tracker,补上了另外两家缺的全身动捕能力。知乎
PICO 4 Ultra 被拿来做机器人遥操作和数据采集,官方和第三方都给出了成体系的教程和流程。哔哩哔哩知乎
XRoboToolkit 在 PICO 4 Ultra 上的教程,直接教人怎么把头显和手柄的数据接进机器人控制链路。
云深处的 DR02 Pro 教程里,XRoboToolkit 负责接收头显数据,再用 Pinocchio 解双臂逆运动学,从 MuJoCo 仿真一路跑到真机。哔哩哔哩

采到的数据比想象中细。PICO 4 Ultra 正面有两颗 3200 万像素彩色摄像头,但应用能拿到的视频流只有 1280×960、89 帧。知乎
手部追踪每只手 26 个关键点,Motion Tracker 能追 24 个全身骨骼点,全身追踪延迟 20 毫秒。头、手、身体的姿态日志大约 90Hz。
但真上手,坑一个接一个。
一位做双臂实机遥操的人说,手感“还不是特别跟手”,不敢用绝对位置,只能改成增量,操作性又低了不少;灵巧手没有好的操控方案,直接用手势映射“非常抖”。小红书
仿真里复现宇树 G1 的人,遇到过脚步抽搐、跌倒;还有人问,头显挂在脖子上怎么不熄屏。
消费版和企业版的差别,成了实验室里的第一个选择题。有人为了看机器人的第一视角画面,纠结要不要买企业版。
问这个问题的人最后得到两条路径:TWIST2 那套用企业版加 ZED mini,另一套基于 WebRTC 的方案则两个版本都能跑。小红书

数据质量也不是一句“能采”就完了。一位用 PICO 跑实时重定向的开发者直接吐槽:PICO 的数据质量真的差,线速度漂移,还有诡异的腰部动作。哔哩哔哩
更根本的问题在后面:这条路能不能规模化?
PICO 的手部追踪在手掌被遮挡时精度会下降,而抓握恰恰发生在那一刻。只靠头显,精细操作不够,得多加腕部摄像头。知乎
加了摄像头,就多一条时间线、多一次同步、多一道人工审核。
那位做全身运控的开发者因此判断,PICO 这类产品“学术研究和小批量玩一玩还可以,大规模走出实验室不太现实”。知乎

可另一边的账又很诱人。有研究对比过,一小时真人第一视角手部数据,对策略性能的贡献超过额外一小时机器人遥操作数据。知乎
另一个工作用了两万多小时的第一视角人类视频,发现数据规模和验证损失之间存在对数线性关系。机器人公司缺的正是这种便宜、量大、带动作标注的人类数据。
PICO 恰好站在这个缺口上。它不是为机器人设计的,却因为买得到、改得动、有官方追踪器,成了过渡期里顺手的采集工具。
所以,PICO 的第二份工作是真的,但它不是一条通往消费级爆发的捷径。对玩家来说,它仍然是一台游戏机;对实验室来说,它是一双能记录“手怎么抓杯子”的眼睛。同一台设备,两种命。