真人变动漫：stable diffusion用Ebsynth Utility创建动漫视频的教程

想知道头图的动漫怎么生成的吗？真人视频变美丽动漫：本文用windows系统，用B站秋叶大佬的stable diffusion整合包来进行教程说明。其他的系统例如linux和automatic1111/stable-diffusion-webui操作方法与此类似，不再赘述。

准备工作

1、下载FFmpeg

这是一个视频相关的插件，如果你的电脑之前安装过类似的mpeg的插件，也许可以不用安装。来到FFmpeg的官网，点击绿色的Download下载按钮：

之后会弹出下图的界面，点击windows图标下方的windows builds from gyan.dev按钮：

之后会弹出下图的界面，点击下图129MB的那个zip文件，将它下载到电脑解压缩：

解压缩后的文件夹里面，有下面的bin文件：记住这个bin文件的路径（不要照抄我下面的路径，因为你的电脑不一定是这个路径，要看你解压缩后的文件夹是什么路径，另外，路径地址最好不要出现中文或者空格）：

C:ffmpeg-master-latest-win64-gplbin

2、将FFmpeg添加到环境路径里面

将上面的这个路径C:ffmpeg-master-latest-win64-gplbin添加到环境路径里面，方法是，打开系统属性，在系统属性界面点击“环境变量”（见下图）：

之后会弹出下图的界面，点击“Path”，然后点击“新建”，

注意：下面这个路径C:ffmpeg-master-latest-win64-gplbin有3个文件（见下图），要将这个bin路径添加进去，你的路径不一定是这个，要看你下载的zip文件解压缩后的路径是什么：

C:ffmpeg-master-latest-win64-gplbin

在环境变量界面点击“Path”，然后点击“新建”按钮之后，会弹出一个“编辑环境变量的界面”（见下图右边），在下图右边的界面点击“新建”按钮：

将C:ffmpeg-master-latest-win64-gplbin这个路径拷贝进去（见下图），然后点击“确定”按钮。

3、下载Ebsynth

在Ebsynth的主页（见下图）下载Ebsynth：

安装Ebsynth Utility扩展

点击stable difusion主页第2行最右侧的“扩展”按钮，然后点击第3行左侧的“可下载”按钮，最后点击黄色的“加载扩展列表”按钮：

然后，在下面的“搜索”栏里面填写ebsynth进行检索，检索出一个叫做Ebsynth Utility的扩展，之后点击该扩展右边的“安装”按钮（见下图）：

安装完成后重启，会在stable diffusion主页出现下图的“Ebsynth Utility”的按钮了：

Ebsynth Utility使用教程

第1步、新建工程目录，导入视频

点击stable diffusion主页下面第2行的Ebsynth Utility按钮，新建工程目录的方法是在下图的“Project directory”下的方框填写工程目录的名字，例如我填写的是C:Ebsynth这个目录，这个目录是你自己决定的，不一定要和我的一样。然后将视频拖到下面的方框内，这时候Original Movie Path下方就会自动显示这个视频的路径：

第2步、进行stage1的处理

stage1的处理很简单，将下图的“Mask Threshold”调整为0.05，其他参数不变，然后点击右边的“生成”按钮：

这时候，会将视频拆分成一帧一帧的画面（见下图）：

但是我突然发现，video_mask文件夹下面没有东西：

因此，要重新安装一个东西。在windows的终端窗口，cd到stable diffusion目录下的python文件夹下面：秋叶大佬的整合包的python路径是在一个py310的文件夹下面（秋叶大佬不同版本的整合包也许不太一样，也许你用的版本是在python文件夹下面，反正自己找）。

cd到 py310文件夹下面后，用下面的命令来安装transparent background:

python.exe -m pip install transparent-background

安装过程会自动下载一些东西（由于什么值得买不能出现第3方网址，下图我将网址涂掉了）：

安装完成后，在你的Administrator的文件夹下面新建一个叫做.transparent-background的文件夹：

从网络上下载一个叫做ckpt_base.pth的文件（见下图），将下载的ckpt_base.pth文件放到上图创建的.transparent-background的文件夹里面。

之后将py310目录和py310Scripts目录添加到Path的“环境变量”里面（见下图），添加方法见上文，刚才已经说过了。注意：秋叶大佬的整合包，不同的版本的路径也许不一样，也许是python和pythonScripts目录，请自行查找这些目录的路径。

完成后，继续刚才的stage1步骤，点击stage1步骤右边的“生成”按钮，终端上会出现下图的界面：

这时候，蒙版文件夹下面有图像生成了：

stage1完成后，会显示下图的界面：

第3步、进行stage2处理

这个stage2的作用是生成关键帧。点击左侧的stage2按钮，再选择右侧的stage2按钮，然后点击黄色的“生成”按钮即可。

步骤完成后，会在工作目录下出现一个叫做video_key的文件夹，文件夹里面有关键帧：

第4步、进行图生图处理

选一张video_key的文件夹里面的图像，拉到图生图里面，点击右边的“DeepBooru反推提示词”按钮：

往下拉，缩放模式自己选，采样方法自己选，宽度和高度自己选，重绘幅度自己选：

大模型文件可以选darksushimix这个模型，然后点击右侧的生成按钮，看看生成的图片是什么效果，不满意的话就调节参数（也可以换大模型和提示词，调节重绘幅度等参数）。如果生成的卡通图片满意的话，点击种子数后面的绿色按钮将种子固定下来，其他参数不要变。

之后往下拉，“脚本”选择ebsynth utility：

选好之后，在Project directory下面填写工程目录的路径名字，我设置的路径是C:Ebsynth，添加进去即可。

添加好之后，其他参数不变（见下图）：

填好之后，拉到上面的“图生图”的“批量处理”菜单下，填写“输入目录”和“输出目录”：

“输入目录”填写video_key文件夹的目录，“输出目录”自己新建一个目录。之后点击右侧的“生成”按钮。

第5步、stage3.5处理

点击右侧的stage3.5按钮，然后点击“生成”按钮：

完成后，会显示下图红色方框内的信息：

第6步、点击stage4，点击下方的生成按钮，然后点击stage5按钮，再点击下方的生成按钮

解压缩在前面步骤中下载的EbSynth程序（见下图），双击打开EbSynth程序。

第7步、运行EbSynth程序

EbSynth程序打开后是下图这样的：

点击Open按钮，打开Project Dir目录下面的ebs后缀的文件，这时候出现下图的界面，点击Run all按钮。注意：如果工程目录下有多个ebs后缀文件，则每个ebs文件都要Run all，全部ebs文件Run all后才能进行下一步。

第8步、点stage7按钮，再点生成按钮

完成后，会出现下图红色方框内的文字提示信息：

这时候，动漫视频就完成了。

那么问题来了，你更喜欢动漫人物，还是真人呢？

制作步骤简单总结

1、点击stabel diffusion主页下方第3行的Ebsyth Utility按钮，新建工程目录，导入视频。

2、点击stabel diffusion主页下方第4行的Configuration按钮，stage1下方的Mask Threshold设置为0.05，右侧Process Stage下方点击stage1，再点击下方的黄色按钮“生成”，这个步骤的目的是frame extracted，mask created，也就是对视频进行切片和创建蒙版。

3、接下来这一步的目的是生成关键帧。点击左侧的stage2按钮，再选择右侧的stage2按钮，然后点击黄色的“生成”按钮即可。

4、这一步的目的是用批量“图生图”将切片转换成一帧一帧的动漫图片。先用一张图进行“图生图”测试，效果满意后，将种子和参数固定，然后进行批量处理。

5、stage3.5，stage4和stage5处理。

6、运行EbSynth程序，将图片转换成视频。

7、stage7生成最终的视频。

全文完，谢谢观看！

作者声明本文无利益相关，欢迎值友理性交流，和谐讨论～