机器人模仿学习常面临样本效率低的难题。VIEW算法创新性地从人类视频中提取关键路径点，无需机器人演示，即可高效学习操作任务，为解决人机形态差异带来的挑战提供了新思路。
智能速览
机器人模仿学习面临高维数据和形态差异的挑战。
VIEW通过提取关键路径点简化演示轨迹。
奖励函数基于物体轨迹而非手部，实现智能体无关学习。
采用分阶段探索策略，分别优化抓取和任务执行。
支持多物体任务，并可通过残差网络加速新任务学习。
精华内容
VIEW算法的核心在于如何从人类视频中，提取出机器人能够理解和执行的有效指令。
轨迹提取与压缩
VIEW算法首先从单段RGB-D视频中提取关键信息。它利用100DOH数据集检测手部与物体的接触点，并结合MANO手部模型来获取精准的手腕三维轨迹。
为去除视频中的冗余动作，算法采用SQUISHE轨迹压缩技术，仅保留如抓取点、移动中点、放置点等关键路径点，从而将一段复杂的操作简化为一系列机器人可执行的指令。
创新的奖励函数
传统方法常因人手与机械爪的形态差异而难以有效学习。VIEW巧妙地避开了这一问题，其奖励函数并不直接比较人类手部与机器人末端执行器的轨迹。
算法转而关注被操作物体的运动轨迹，通过计算机器人执行与人类演示之间物体位置的均方误差（MSE）来给予奖励。这种基于物体运动的评判标准，使得机器人能够以自己的方式实现与人类相同的结果。
分阶段策略优化
学习过程被分解为抓取和任务执行两个阶段。在抓取阶段，算法在抓取点周围构建边界框，并使用质量-多样性（QD）算法进行高效探索，以找到适合机器人夹持器的最佳抓取姿态和位置。
一旦抓取成功，系统进入任务执行阶段。此时，贝叶斯优化（BO）被用于微调剩余的路径点，确保物体最终的运动轨迹与人类演示高度匹配。各个路径点的优化可以并行进行，提升了学习效率。
局限与未来方向
尽管VIEW表现出色，但仍存在一些局限。当前算法未考虑物体的朝向信息，因此无法完成“倾倒液体”这类需要精确姿态控制的任务。此外，它还依赖于固定的相机视角，当环境中的物体位置发生变化时，需要重新进行学习。
未来的改进方向包括引入姿态估计来支持动态视角，将朝向信息整合到路径点中，以及将VIEW作为更上层策略学习的预处理步骤，以生成高质量的状态-动作对。
VIEW算法通过其模块化设计，显著提升了视觉模仿学习的效率和泛化能力。尽管仍有局限，但其思路为解决机器人从人类视频中学习的核心难题开辟了有效路径，未来的应用前景值得期待。
