在AI创作中,实现多场景下的人物形象一致性是一大挑战。本内容系统性地介绍了如何利用ComfyUI训练专属的LoRA模型,并提供了四种准备训练集的实用方法。无论是从零开始还是基于现有图片,这些方案都能帮助创作者高效构建高质量的人物模型,为AI视频和图像制作提供稳定可靠的核心素材。
智能速览
实现人物一致性主要分三步:生成形象、训练LoRA模型和应用模型。
提供了四种训练集准备方法,覆盖从零开始到现有素材扩展的全部场景。
方法一通过ComfyUI工作流,结合ControlNet和放大模型,从零开始生成角色训练集。
方法三侧重动作多样性,通过预设提示词生成角色在不同姿势下的训练图片。
方法四强调传统搜集法,适用于训练知名IP或特定艺术风格的LoRA模型。
精华内容
训练一个高质量的LoRA模型,其核心在于准备一套高质量的训练集。下面将详细介绍四种不同的准备方法,每种方法都有其独特的适用场景和操作技巧,以应对不同的创作需求。
从零生成角色
此方法适用于没有任何现成素材的情况,完全通过ComfyUI工作流生成。首先,需要配置姿势参考图、放大模型和ControlNet模型。在工作流中输入人物形象的提示词后,流程会先生成预览图,再进行高清放大、保存姿势和生成多角度表情打光。
整个流程耗时约7-8分钟。为提高效率,工作流集成了图像选择节点,可在第一步生成预览图后暂停,若角色形象满意再点击“Progress selected image as restart”继续后续步骤,避免了因“抽卡”不满意而浪费计算资源。
最后,将生成的所有图片收集起来,裁剪掉多余部分,即可作为训练集。这种方法为创作者提供了从无到有构建角色基础的能力。
单图扩展多角度
当手头只有一张满意的角色图时,可采用此方法快速扩展训练集。其核心是利用通义万相的图生视频技术,将静态图片转换为360度旋转的动态视频,再从中提取关键帧。
操作时需注意,视频生成对显存要求较高,建议将图像最长边设置为848像素以保证流程顺畅。使用Wan2.1模型,输入如“超逼真,360度旋转”等提示词,约4-5分钟即可生成视频。
从视频中挑选15-20张不同角度的图片,即可组成一套角度分布均匀的训练集。此方法生成的素材附带透明背景的PNG图和蒙版,不仅能用于LoRA训练,还可直接用于制作海报、UI素材等,实现了“一次生成,多种用途”。
单图生成多姿势
与方法二侧重角度不同,此方法专注于解决角色动作多样性的问题。它通过FluxKontext图像编辑技术,配合一个专门的模特动作变换LoRA模型,生成角色在不同姿态下的表现。
工作流中已预设了多种常用姿势的提示词,涵盖站立、行走、跳跃等基础动作及表现力更强的肢体语言。执行后,工作流会自动生成一系列姿势图片。
对于个别不满意的姿势,可以选中对应节点并单独重新生成,灵活性高。该方法与前述的多角度方法相结合,可在半小时内高效完成一套内容丰富、角度和姿势多样的训练集准备工作,大幅降低了LoRA训练的门槛。
传统搜集法
尽管AI生成方法便捷,但传统搜集法在某些场景下依然是最佳选择。它主要适用于训练特定类型的LoRA模型,例如知名动漫游戏IP角色、特定画师的独特艺术风格、真人明星或网红,以及汉服、机甲等特定服装物品。
传统方法的最大优势在于素材的真实性和多样性,网络上海量的不同创作者、不同场景的图片能让模型学习到更丰富的特征。
但使用此方法时,版权合规性是首要前提。对于个人学习研究,应低调使用不公开传播;若涉及商业用途,则必须通过正规渠道获取授权。关键在于耐心筛选,注重素材质量而非数量,在合法合规的前提下进行创作。
这四种训练集准备方法基本覆盖了所有LoRA训练场景,为创作者提供了灵活的选择。通过AI生成与传统搜集的结合,大幅降低了人物模型训练的技术门槛。掌握数据准备后,下一步就是进入核心的模型训练环节,最终打造出真正属于自己的高质量LoRA模型。