Z Image ControlNet 解决了 AI 绘图中构图和姿势难以精确控制的问题。本文从基础安装讲起,实测了多种控制图效果,并分享了权重调整与 LoRA 混用的进阶技巧,助你生成细节与构图兼备的高质量图像。
智能速览
阿里 PAI 团队发布 Z Image 官方 ControlNet 模型
模型支持深度图、姿势图、轮廓图三种控制方式
实测最佳控制权重在 0.65-1.0 之间,需根据类型调整
结合 Wan 2.2 双采样器工作流可提升生成质量
分享了 ControlNet 与 LoRA 模型混用时的权重平衡技巧
可引入 QwenVL 模型自动反推参考图提示词
精华内容
要真正掌握 Z Image ControlNet,不仅需要了解其基本功能,更需深入理解不同控制模式的特点与参数调整策略。
模型与安装
阿里 PAI 团队为 Z Image 生态带来了官方 ControlNet 模型,体积达 3.1GB。
ComfyUI 官方已在近期更新中支持该模型,用户只需将平台更新至最新版本即可使用。
该模型目前支持深度图、姿势图及轮廓图三种控制类型,为精准构图提供了基础。
控制类型实测
不同控制图的适用权重差异明显。深度图在官方推荐的 0.8-0.85 权重下效果稳定,能准确还原参考图的空间布局。
而 OpenPose 姿势图在 0.85 权重下引导力较弱,需将权重提升至 1.0 才能锁定人物姿态。DW-OpenPose 虽增加了面部关键点,但实测生成质量不如纯 OpenPose。
Canny 与 HED 轮廓图则能更好地保留人物外形轮廓,Canny 效果更简洁美观。
权重与 LoRA
ControlNet 与 LoRA 模型混用时,权重平衡是关键。若两者权重均设为 1.0,LoRA 的人物特征会过度强化,同时削弱 ControlNet 的构图控制力。
一个相对均衡的方案是将 ControlNet 权重设为 1.0,LoRA 权重设为 0.85。这样既能保证人物姿态的准确性,又能适度展现 LoRA 带来的特定风格或人物特征。
进阶工作流
通过引入 QwenVL 模型,可以实现提示词的自动生成。用户可用一张图定义构图与风格,用另一张图的 OpenPose 定义姿势,由 QwenVL 分析第一张图并生成高质量提示词。
整个流程基于 Wan 2.2 的双采样器结构,前四步负责生成基础构图,后四步负责图像细化,显著提升了最终出图的细节与质量。
Z Image ControlNet 的出现,极大提升了 AI 绘图的可控性与创作自由度。通过掌握不同控制模式的特性与参数技巧,创作者能更高效地实现脑海中的画面。未来,这种精细化控制工具将成为 AI 艺术创作的主流。
关键评论
有观点认为 Z Image 潜力巨大,但需警惕其滥用风险。
有网友提问是否可以同时使用多个 ControlNet 进行更复杂的控制。