ComfyUI-69-该视频由爱AI生成!!!(小白福音)
近期,利用AI技术将逝去亲人照片“复活”并进行互动的视频在社交媒体上引发关注。这一效果并非依赖昂贵的商业闭源模型,而是通过ComfyUI整合多个开源模型工作流实现的。该方案能够将静态老照片转化为具备动态表情和动作的视频,同时支持语音克隆,为用户提供了一种基于开源生态的数字纪念方案。以下将从应用场景、核心原理及具体操作步骤对该工作流进行深度解析。
01核心原理与模型架构
该工作流的核心逻辑分为三个阶段:首先是对老旧照片进行高清修复与预处理,确保素材质量;其次利用图像控制技术将照片人物替换至参考视频的动作框架中;最后通过动作迁移与视频超分技术生成最终的高清视频。整个过程结合了图像修复、人物重绘、姿态估计与视频插帧等多种AI技术。
| 技术阶段 | 核心功能 | 推荐模型/工具 |
|---|---|---|
| 图片预处理 | 去水印、高清放大、背景去除 | Keling 9B |
| 人物替换 | 姿态提取、图像重绘、人物融合 | SDPose, Qwenedit R511 |
| 视频生成 | 动作迁移、视频插帧、超分放大 | Animate Diff, FlashVSR |
| 特殊优化 | 儿童骨骼匹配、防变形 | Vector Animation, NLF (Scale) |
工作流关键技术环节与模型选型
02准备工作与素材要求
- 参考视频准备
录制一段包含目标动作或互动的视频,建议为慢动作,便于后续提取清晰姿态。 - 参考图片选择
选用像素较高的半身照。若照片为老旧低画质素材,需依赖工作流中的预处理环节进行修复。 - 语音素材(可选)
如有逝者生前的语音录音,可用于克隆声音,增强视频的真实感。
03分步实操流程
1. 图片预处理与高清修复
上传参考图片后,首先使用Keling 9B模型进行图像处理。这一步包括去除原始照片中的水印、噪点,并进行4K高清放大。随后执行背景去除(Remove Background)与对象裁剪,将人物主体从背景中分离并适当放大,以解决老照片人物占比过小的问题。
上传参考图片后,首先使用Keling 9B模型进行图像处理。这一步包括去除原始照片中的水印、噪点,并进行4K高清放大。随后执行背景去除(Remove Background)与对象裁剪,将人物主体从背景中分离并适当放大,以解决老照片人物占比过小的问题。
2. 姿态提取与人物替换
从参考视频中提取一帧姿势完整、清晰的关键帧。利用SDPose模型提取视频中人物的骨骼姿态数据;针对东方人物面部特征,推荐使用Qwenedit R511模型而非Flux Klein进行人物替换,以减少颜色偏差。在替换过程中,需设置SAM(Segment Anything Model)遮罩,并通过模糊生长(Dilate/Erode)处理遮罩边缘,避免发丝等细节处出现残留或边缘生硬的问题。
从参考视频中提取一帧姿势完整、清晰的关键帧。利用SDPose模型提取视频中人物的骨骼姿态数据;针对东方人物面部特征,推荐使用Qwenedit R511模型而非Flux Klein进行人物替换,以减少颜色偏差。在替换过程中,需设置SAM(Segment Anything Model)遮罩,并通过模糊生长(Dilate/Erode)处理遮罩边缘,避免发丝等细节处出现残留或边缘生硬的问题。
3. 动作迁移与视频生成
将处理后的静态人物图与提取的动态姿态结合,输入Animate Diff进行动作迁移。生成视频时,建议参数设置为16帧,分辨率480x832,本地运行约20秒可出片。若需迁移儿童形象,应使用Vector Animation或Scale中的NLF进行骨骼检测,并与参考图骨骼大小匹配,以防止人物产生形变。
将处理后的静态人物图与提取的动态姿态结合,输入Animate Diff进行动作迁移。生成视频时,建议参数设置为16帧,分辨率480x832,本地运行约20秒可出片。若需迁移儿童形象,应使用Vector Animation或Scale中的NLF进行骨骼检测,并与参考图骨骼大小匹配,以防止人物产生形变。
4. 高清放大与成品输出
初步生成的视频可能存在模糊,需接入FlashVSR进行超分放大,并进行插帧处理,使画面更加流畅清晰。最后输出成品视频,完成从静态照片到动态影像的转化。
初步生成的视频可能存在模糊,需接入FlashVSR进行超分放大,并进行插帧处理,使画面更加流畅清晰。最后输出成品视频,完成从静态照片到动态影像的转化。
当前文章无评论,是时候发表评论了