帮我那个朋友实现套图自由

AI 绘画从火爆出圈至今，相信很多小伙伴或多或少都接触过了，从云端部署 SD，到 Discord 上的 MJ，以及各种插件，各种利用 RPA 工具实现的自动化骚操作......

不得不说今年的 AI 绘画，迭代快、功能多，格外得耐玩，火爆的原因我还记得，是今年 2 月份的 AI 三级跳“这下，AI涩图彻底炸了”。

前有 Chilloutmix 真人模型带头冲锋，在 C 站 1 个月斩获 11 万的下载量；

还有人记得这张图嘛

后有 Lora 大行其道，稍加训练就能得到专属的 AI 模型；

最后 ControlNet 炸场，给原本只能抽盲盒的 AI 绘画，带来了一丝控制的可能。

3 个月后再看这三位功臣，Chilloutmix 被作者捐给了 C 站，数据量已上涨至 45 万；Lora 成了制作同人作品、迁移图片风格的基操；ControlNet 更是成了 AI 绘画进阶的重要一环。

本来说今天这篇是想给大家总结一下，现阶段网上分享的 ChatGPT 以及 AI 绘画的优质图文教程，但昨天晚上刷 B 站的时候，我又发现了个好玩意——

ControlNet 更新了一个名为「reference_only」的预处理器，可以在不调用 Lora 的基础上，仅仅凭借一张图，用文本提示词，在保持图像主体特征的前提下，修改细节。

这是 GitHub 上作者给出的示例，一张静立的小狗，配上奔跑的提示词，在 ControlNet 的帮助下，就能跑出这样的效果：

在二次元领域就更厉害了，仅仅一个 1 girl，就能复现出原图的效果：

好家伙，这岂不是能实现所谓定制的效果了？是骡子是马咱得牵出来溜溜看。

Reference Only

想使用 Reference Only 这个「仅供参考」的预处理器，需要把 ControlNet 插件升级到 1.1.153 版本及以上。

然后就能在文生图、图生图的界面找到 ControlNet 的插件了。

正常来说，不是要选个预处理器，再挑选能提取线稿，提取骨骼图之类的模型，但今天这个 Reference Only，并未借助其他模型。

究其根本，是这个预处理器可以把 SD 的注意力层直接连接到上传的参考图片，并在提示词的引导下再去生图。

所以选中「reference_only」预处理器后，不用更多的操作，如果说有什么需要注意的——

1、「Pixel Perfect」这个参数建议勾选。

2、「Style Fidelity」这个参数视情况而定，如果提示词描绘的内容，以及尺寸，与参考的图片差不多，可以直接拉满。

除此之外，在参数那里，正向提示词可以加上类似「best quality, 8K」之类关于质量的内容；如果想尽可能的保持与原图的相似程度，可以适当调低提示词相关度 CFG。

测试结果

先给大家打个预防针，用这个预处理器生成图片，是肯定做不到 100% 还原，这和 AI 绘画生成图片的原理有关，随机性是肯定会存在的。

但生成原图也非本意，AI 绘画抽盲盒也是乐趣之一，当然也不妨碍用这个处理器搞一些花活，我在测试了一天后，得到了以下场景。

进行风格迁移

我从网上找来了一张简笔画，画风如下：

提示词只用到了最简单的「1girl,crying」，这样的简笔画风格就被迁移到了新生成的图片中，而且根据提示词的引导，新生成的卡通图片中的小女孩是正在哭的。

只要把提示词换成「1boy」，就能立刻得到一张同样风格的图片：

过去想拿 AI 绘画生成一对风格相近的头像，还需要找跟风格有关的各种 Lora 去排列组合，现在只要有一张参考图，相似风格的内容立刻就搞定了。

同理，由左边的猫，生成右边的狗也是 OK 的。

快速确定方向

有下面这样一张图，是我从 C 站上找来的，作者生成原图时用了很多提示词和 Lora，复杂度直接拉满。

但我用这个预处理器，只是在提示词里更改了发色或姿势，文生图就搞定了，比无脑抽盲盒要快得多。

同理，像图片里不合理的地方（用手接球），也能通过这种方式更改，还不用像局部重绘那般麻烦。

而且 ControlNet 是可以用多个预处理器/模型组合使用的，就比如上面这个踢球的图，我用一张坐着的图片引导了一下人物姿势，原本踢球的小姐姐就立刻呈坐姿了。

B 站上，我还看到更厉害的多重 ControlNet 组合使用的应用案例，只需要保留一张人物头像的图。

再用一张服饰的图。

分别用「reference_only」预处理器处理，并在提示词里分别描绘人像和服饰，最后用 Openpose 确定姿势，两张图就被拼到了一起，用这个方式「拼图」，再训练一个自己的 Lora，套图什么的，那不是手拿把掐嘛。

为什么这篇我没有展示真人图片，还是那句话，这个预处理器不是换脸，单纯的文生图，模型带来的影响比 ControlNet 更强。

比如我用三上老师的照片跑了下，第一张是参考图，后面两张是 AI 生成的，提示词用了「1girl, long hair, gray sweater, room, best quality」。

虽然主体特征有迁移，但总觉得差点三上老师的灵动。。。

所以在 GitHub 上，真人这里更多的是用这个预处理器，去迁移背景以及服饰，比如这样作为参考图：

迁移后生成的效果是这样的：

这个流程规范化后，感觉我的 RPA 工具又有新作用了。

其他

ControlNet 这个预处理器刚出来没几天，肯定还有更多的玩法等着我们去开发，热乎得很，感兴趣的小伙伴可以去试试。

不过就像前面说的，用这个处理器需要对 ControlNet 进行一下升级，这里也给没用过 ControlNet 的小伙伴简单说说安装方法。

可以在「扩展-可用」里搜，也可以直接去「扩展-从网址安装」下载：

曾经下载过的，就需要去整合包或者在 WebUI 上手动更新了：

至于多重 ControlNet 的应用，就需要我们在设置里更改数量了。

结语

虽然 Reference Only 这个预处理器能在一定程度上和 Lora 的功能相接近，去控制 AI 绘画的不确定性，但也没说 ControlNet 不能和 Lora 结合起来用啊。

如果你在 Lora 的基础上使用这个预处理器，效果杠杠的好，再配合上星期分享的换脸工具，套图是真的可以有。

好了，这一篇到这里就没啥说的了，有大胆想法的小伙伴，还等什么，快去试试吧。

还没接触过 AI 绘画的小伙伴也不用急，后面我会出一篇优质教程合集，如果你对这个有需要，别犹豫，点赞就是最好的催更。