现有视频模型用于机器人控制时流程复杂，英伟达与斯坦福的Cosmos Policy提出了一种新方法。它通过将状态、动作等信息直接注入视频模型的生成序列，在不改变模型架构的前提下，实现了高效的机器人策略训练与规划，简化了流程并提升了性能。
智能速览
Cosmos Policy解决了视频模型用于机器人控制时的流程复杂问题。
该方法通过在视频latent空间中注入状态和动作信息进行微调。
策略、世界模型和价值函数可在同一模型内实现联合训练。
在LIBERO基准测试中，该方法取得了98.5%的平均成功率。
真实ALOHA双臂任务测试平均得分达到93.6%。
当前局限性在于推理成本较高，约需5秒生成一个动作块。
精华内容
如何让预训练视频模型直接变成可执行的机器人策略？Cosmos Policy的核心在于一种巧妙的统一编码思想。
核心痛点
当前，将视频生成模型应用于机器人控制，通常需要将动作生成为独立模块。这种方式导致训练流程复杂，不同模块间的分布对齐困难，并且削弱了视频模型本身已经学到的时序与物理先验知识，使得工程落地成本高昂。
统一生成法
Cosmos Policy的创新之处在于，它假设视频扩散模型本身足以同时表达图像、动作和价值等多模态分布。具体实现上，该方法保持原有Cosmos-Predict2视频扩散架构不变，通过“latent frame injection”技术，将机器人本体状态、动作块以及未来状态价值统一编码，直接插入到视频的latent序列中，形成一个连续的生成过程。
实测表现
定量实验证明了该方法的有效性。作为直接策略，在LIBERO基准测试中平均成功率达到98.5%。在RoboCasa基准上，仅用每任务50条示教数据便达到了67.1%的成功率。在真实的ALOHA双臂机器人任务中，平均得分高达93.6%，并能稳定完成“将糖果放入碗”等高精度任务。
应用边界
该方法的边界在于其较高的推理成本。在规划模式下，生成一个动作块大约需要5秒钟，这使其难以应用于需要高速动态控制的场景。此外，其规划效果在很大程度上依赖于额外的rollout数据，这限制了其在数据稀疏环境下的表现。
Cosmos Policy为视频模型在具身智能领域的应用提供了一条更直接的路径，其统一生成的思路简化了训练流程并取得了优异成果。尽管存在推理速度的挑战，但这一方向无疑为机器人技术的未来发展开辟了新的想象空间。
