RoboChallenge年度报告通过大规模真机评测,首次为具身智能领域提供了一份可追溯、可复现的“成绩单”。其价值不仅在于排名,更在于通过失败轨迹揭示的行业共性痛点与技术瓶颈,为技术发展指明了方向。

智能速览
RoboChallenge平台已成为具身智能真机评测的关键基础设施,测试量突破4万次。
当前模型在基础任务上表现尚可,但榜首模型平均成功率仅51%。
报告通过分析高失败率任务,揭示出初始步骤失败、长程记忆缺失等共性痛点。
行业竞争焦点正从追求单项高分转向构建可复现、可交付的工程体系。
精华内容
当榜单不再是唯一焦点,评测过程中的“错题集”反而成为了一面镜子,照出具身智能的真实能力边界与必须补齐的短板。
真机评测成刚需
由原力灵机Dexmal与Hugging Face联合推出的RoboChallenge平台,正迅速成为检验具身模型能力的行业入口。上线三个月,平台累计执行的真机测试已突破4万次,吸引了来自美国、新加坡等多个国家的开发者参与。
平台开源的Table30数据集包含30个标准化桌面操作任务,覆盖从基本操作到复杂精细控制的各类技能,在Hugging Face上下载量已超1.7万次,显示出广泛的行业需求。
冰火两重天的能力
评测结果显示,当前具身模型在基础任务与精细操作任务上表现差异巨大,呈现“冰火两重天”的局面。在“叠碗”等基础任务上,多个模型成功率达到100%;但在整体任务中,榜首模型的平均成功率也只有51%。
数据进一步揭示,TOP模型在能力维度上大致趋同,普遍擅长简单抓取,但在涉及柔性物体操作和长程记忆的任务中表现低迷,成功率普遍低于10%。

一份行业错题集
报告最有价值的部分,是分析了失败率极高任务背后的共性痛点,形成了一份行业级的“错题集”。首先是“一步错步步错”,在“做素三明治”任务中,所有模型因第一步操作失败导致成功率均为0%。
其次是长程任务的“记忆缺失”,在“给盆栽浇水”任务中,模型因失去对历史状态的追踪,成功率同样为0%。此外,“整理书籍”任务因视觉精度不足和误差累积,成功率最高仅10%;而“叠抹布”任务则因柔性物体形变预测难,最高成功率也仅30%。

从炫技到系统工程
RoboChallenge的出现,正在推动行业从“演示驱动”转向“真机评测驱动”。其倡导的开放共同体模式,旨在建立公认的评测标准,未来评测成绩将成为技术选型与投资评估的重要依据。
行业竞争的焦点也随之转变,从追求个别任务的惊艳表现,转向构建可恢复、可维护、可交付的工程体系。谁能系统性地解决长程记忆、误差累积等“工程硬伤”,谁就更有可能实现技术的规模化部署。

RoboChallenge正在推动具身智能从实验室走向真实应用,其标准化评测体系将成为行业不可或缺的基础设施。未来,谁能系统性地攻克“错题集”中的工程难题,谁就更有可能实现技术的规模化落地。