腾讯混元开源首个面向世界模型的强化学习后训练框架WorldCompass
腾讯混元3D团队宣布开源业界首个面向世界模型的强化学习后训练框架WorldCompass。作为混元世界模型1.5的官方强化学习扩展模块,该框架专为长时序、交互式世界模型设计,旨在通过强化学习机制提升模型遵循用户指令的准确性及长时序视觉一致性。
01技术架构与核心功能
- 定位与类比
如果说世界模型是引擎,WorldCompass则扮演“指南针”的角色,引导模型更准确地探索世界。 - 设计目标
专注于解决长时序、交互式场景下的生成难题,支持用户自定义数据、奖励或基座模型进行后训练。 - 验证平台
基于最新的开源SOTA模型WorldPlay进行验证,相关代码与模型细节已完全开源。
02性能提升实测数据
实验数据显示,WorldCompass显著提升了基座模型在复杂动作执行上的表现。特别是在最为困难的复合动作(Combined Action,如同时移动和旋转)场景下,准确率实现了大幅跃升。
| 测试场景 | 基座模型准确率 | WorldCompass训练后准确率 | 提升幅度 |
|---|---|---|---|
| 复合动作 (Combined Action) | 20% | 55% | 提升超过35% |
| 基础动作 (Basic Action) | - | - | 提升约10% |
WorldCompass在WorldPlay模型上的准确率测试对比
此外,在斯坦福大学的世界模型Benchmark WorldScore评分中,经过WorldCompass训练后的模型也取得了优于原版的评分表现。
03开源信息与应用
- 开放训练代码
允许开发者利用自有数据、奖励或基座模型进行定制化的后训练。 - 开源模型检查点
提供对复杂组合动作输入更精准的指令跟随能力,优化长时序交互体验。 - 在线体验
用户可通过3D.hunyuan.tencent.com相关页面体验基于HY-World 1.5的生成效果。
当前文章无评论,是时候发表评论了