张大妈

RCM:腾讯混元单图生成3D角色新范式✨

源自小红薯:SpaceAI Lab

01-17 14:18

为解决单图生成3D角色时普遍存在的姿态混乱、视角不一致等难题,腾讯混元团队提出RCM新方法。该方法通过创新的训练策略,能够从单张图片生成高质量、细节丰富且视角可控的3D角色,显著提升数字内容创作的效率与最终效果。

RCM:腾讯混元单图生成3D角色新范式✨智能速览

  • 支持将复杂姿态转为标准A/T姿,保留身份细节。

  • 可生成1024×1024高清环绕视频,纹理质感出色。

  • 通过相机姿态精准控制观测角度,实现灵活的视角合成。

  • 兼容1-4张多视图输入,并能抵抗复杂背景干扰。

  • 在多项基准测试中超越基线模型,用户研究评分居首。

RCM:腾讯混元单图生成3D角色新范式✨精华内容

RCM方法之所以能实现突破性效果,关键在于其精巧的模型设计与训练策略。接下来将深入剖析其背后的技术原理与实测表现。

核心能力

该方法首先解决了姿态混乱的核心痛点,能够将输入图片中的复杂身体姿态统一转换为标准的A姿或T姿,同时精准保留角色的身份特征与服装细节。

其生成环绕视频的分辨率高达1024×1024,确保了纹理和材质的清晰呈现,解决了传统方法分辨率不足的问题。此外,模型对复杂背景具有强大的抵抗力,即使在杂乱环境中也能准确聚焦主体。

技术原理

RCM基于Wan 2.2视频扩散模型构建,并创新性地设计了三阶段渐进式训练策略:第一阶段学习姿态标准化,第二阶段实现视角初始化,第三阶段则完成角色旋转生成,逐步提升生成质量与一致性。

为实现精准的视角控制,模型新增了相机编码器,通过普吕克嵌入技术处理相机姿态矩阵,赋予了模型强大的几何感知能力。同时,优化了输入潜码布局以避免图像续帧误判,保障了生成过程的连贯性。

实测表现

在团队自建的RCM-Wild和RCM-Hard两大基准测试中,RCM模型的表现全面超越了现有的基线模型。在用户研究中,该模型在五项评估指标上均位列榜首,获得了4.25的综合评分(满分5分),证明了其生成质量的优越性。

在更具挑战性的RCM-Hard数据集上,其PSNR指标达到19.41,SSIM指标高达0.89,显著优于Wan 2.2等对比模型。研究还表明,其训练策略具备跨模型迁移的通用性。

腾讯混元RCM方法为单图生成3D角色提供了全新的技术路径,兼具高质量、高可控性与强鲁棒性。这不仅降低了3D数字内容创作的门槛,也为未来个性化虚拟角色的应用铺平了道路,AI驱动的自动化创作时代或将加速到来。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章