HY-World 2.0 3D世界大模型
HY-World 2.0作为最新的开源多模态世界模型,首次实现了3D世界生成与重建的端到端打通。该模型支持文本、单张图片、多视图及视频等多种模态输入,能够一键生成高保真且可漫游的3DGS(3D Gaussian Splatting)场景。其核心框架通过生成与重建双范式的统一,覆盖了从稀疏输入创造新场景到密集输入还原真实结构的全流程需求。
01四阶段端到端生成管线
- Stage 1
- Stage 2
- Stage 3
- 查看全部进展
这套四阶段管线完整复刻了人类理解并构建3D世界的核心逻辑,从初始的全景构建到最终的细节合成,形成了一个闭环的自动化流程。
02核心技术创新
- 生成与重建双范式统一
针对文本或单图等稀疏输入,系统自动走生成链路以创造全新场景;针对多视图或视频等密集输入,则走重建链路以还原真实3D结构。一套框架即可适应全场景的3D内容需求。 - 全链路模块硬核升级
全景生成模块有效解决了边界畸变问题;世界扩张模块引入关键帧空间与双内存机制,保证了多视角下的一致性;重建模块通过归一化位置编码,彻底解决了高分辨率推理时可能出现的性能崩塌问题。 - 全栈开源与配套支持
模型首次开源了对标闭源商业模型Marble的技术能力,开放了全部权重、代码及技术细节。同时配套WorldLens渲染平台,直接支持角色交互与场景的实时漫游。
03性能实测与效果
| 评估维度 | HY-World 2.0表现 | 对比基准 |
|---|---|---|
| 行业基准测试 | 多项指标登顶,拿下开源方案SOTA | 优于前代及同类开源方案 |
| 生成视觉效果 | 比肩闭源商业模型Marble | 达到商业级水准 |
| 端到端生成效率 | H20 GPU上仅需10分钟 | 效率与视觉质量均碾压HY-World 1.0 |
HY-World 2.0 实验效果数据概览
综合来看,HY-World 2.0在保证高质量输出的同时,显著提升了生成效率,为3D内容创作提供了高效的技术路径。
当前文章无评论,是时候发表评论了