技术确实方便,可当动作都能被参数框定时,所谓“生动”是不是也成了一串预设代码?真人舞者的呼吸起伏,怕是再精准的模型也抓不住
全文概述
视频详细介绍了如何使用AnimateDiff插件将静态图片转换为动态视频,涵盖安装、参数设置、提示词优化及后期处理等内容。通过结合ControlNet和Prompt Travel,用户可以轻松制作出高质量的AI动画。
准备工作
首先需要安装AnimateDiff插件,并下载运动模型(Motion Modules)和镜头运动Lora。确保使用最新版本的ControlNet,并根据需求选择合适的模型版本进行安装。
基本参数设置
在AnimateDiff面板中,可以选择动画模型、保存格式、总帧数、帧率等参数。为了获得最佳效果,建议总帧数设置为16,帧率为8,并启用GIF或MP4格式预览。
提示词与动作控制
提示词是驱动动画的关键,需尽量控制在75个token以内。通过增加动词权重和使用Prompt Travel语法,可以实现更精确的动作控制。例如,眨眼和微笑可以通过调整提示词权重来增强效果。
结合ControlNet
利用ControlNet可以更好地控制人物动作和背景变化。选择OpenPose作为控制类型,并上传参考图像,可以使生成的动画更加符合预期。同时,适当调整控制权重,给AI一定的发挥空间。
镜头运动Lora的应用
镜头运动Lora可以为场景添加微妙的摄像机运动效果,如放大、缩小、平移等。由于其仅支持V2模型,因此在需要使用镜头运动时,需切换到V2模型并调整相关参数。
图生动画
在图生图界面中,通过输入提示词和参考图像,可以生成基于已有图片的动画。重点在于调整重绘幅度和提示词权重,以达到最佳视觉效果。
视频序列帧提取
使用PR等视频编辑软件或SD插件(如Ebsynth Utility)可以从原视频中提取序列帧图片,便于后续处理和合成。
后期处理与优化
通过批量处理和放大算法(如R-ESRGAN4x+),可以显著提升视频清晰度。此外,优化设置包括补齐正向/反向提示词长度、选择合适的Token合并比率等,有助于提高生成效率和质量。
使用建议
建议多试用不同大模型以选取最佳效果,注意提示词中的自然运动描述,合理调整ControlNet权重,并在显存允许的情况下搭配ADetailer和多组ControlNet使用AnimateDiff。
-
元力共生AI影视导演班实训纪实0 0
已收藏
去我的收藏夹