什么值得买App

我的兴趣消费指南

什么值得买
连续签到专享现金活动

阿里开源舞蹈模型,零动捕也能让照片随音乐起舞

用AI做视频、漫剧,最怕的就是角色一跳舞就崩,脸不是那个脸,身材也跟着扭曲。最近,这个让创作者头疼的“崩脸崩身材”难题终于有解了。从阿里通义开源的Wan-Dancer舞蹈模型,到各种“锁脸”工作流和动作迁移工具,一套从保脸到保动作的完整解法已经成型,普通人零动捕也能做出流畅的虚拟人舞蹈视频。
为什么一跳舞就“变脸”
之前用AI生成跳舞视频,角色动起来就像换了个魂。根本原因在于AI在处理长序列动作时,容易发生“特征冲突”和“动作漂移”——前一秒还是主角脸,下一个转身就成了路人。再加上大家都在用同一批网红脸素材训练,导致AI生成的角色五官高度重合,看多了不仅脸盲,还容易触发“恐怖谷效应”,让人觉得假得难受。
新模型+新工作流,专治跳舞变形
要解决跳舞崩坏,得从“锁脸”和“稳动作”双管齐下。阿里通义近期开源的Wan-Dancer模型就专门对付动作漂移,它先用全局关键帧规划动作骨架,再做局部时序细化,让静态照片能跟着音乐跳几分钟,人物身份还不畸变。而在“锁脸”方面,行业里已经跑通了ControlNet三重锁(人脸+服装+色彩)、IP-Adapter垫图等方案,把角色特征死死锚定,成功率能拉到90%以上。如果想一劳永逸,给角色单独训练一个LoRA小模型,连不同角度的五官和身材细节都能保持95%以上的相似度。
普通人怎么做?按需选方案
对于想尝鲜的新手,不用一上来就搞复杂训练。最简单的零门槛方案是固定Seed值加上强特征描述词,配合IP-Adapter垫图,生图快且动作灵活。如果你要批量生产漫剧,可以试试ComfyUI_VNCCS开源项目,它支持角色特征锚定并批量换装,或者直接用Sora2等平台的角色ID锁定功能。最省事的是直接用AI动作迁移工具,上传一张人物参考图和一段动作素材,系统自动把舞蹈动作转移到你的角色身上,长相和穿搭都不变,零动捕直接出片。
历史事件回溯
当前事件
AI跳舞崩脸崩身材问题被彻底解决
  • 技术方案:时空注意力机制与高精度姿态控制
  • 核心痛点:肢体扭曲、面部崩坏及动作不一致
  • 生成表现:高保真且动作流畅的连贯视频
2023年11月
阿里AnimateAnyone发布,改善动作一致性
  • 技术方案:姿态引导扩散模型与ReferenceNet
  • 核心痛点:复杂动作下肢体变形及局部模糊
  • 生成表现:动作跟随较好但面部细节易崩
2020年6月
FOMM模型实现表情动作迁移但画质低
  • 技术方案:关键点检测与局部仿射变换
  • 核心痛点:大幅度动作导致严重形变与崩脸
  • 生成表现:低分辨率且画面闪烁严重

评论

评论区空态插画

当前文章无评论,是时候发表评论了