传统的扩散模型生成图片耗时漫长,单张图片往往需要近一分钟。阿里巴巴智能引擎团队提出了一种全新方案,成功将Qwen-Image的生成步数压缩至2步,在保证生成质量的同时,实现了约40倍的惊人加速,让高质量图片生成进入“秒级”时代,极大降低了推理成本与用户等待时间。
智能速览
2步LoRA将Qwen-Image生图步数压缩至2步
实现40倍加速,5秒生成4张2K图
采用Reverse-KL蒸馏解决传统轨迹蒸馏的模糊问题
引入热启动缓解分布退化与形体扭曲
结合对抗学习提升画面细节与质感
精华内容
极少步数生成方案的实现并非一蹴而就。该方案通过解决传统方法的细节丢失、分布退化等问题,结合多种技术,最终达到了工业落地水准。
传统蒸馏的困境
早期蒸馏方案如轨迹蒸馏,试图让学生模型模仿教师模型的去噪路径,但在低步数下生成效果不佳,核心问题是图像模糊。究其原因,这类方法在样本空间进行约束,对所有图像区域一视同仁,导致占比较小的细节部分(如文字、五官)学习不充分,生成结果常出现明显扭曲。
概率空间的突破
为解决细节丢失问题,方案转向了概率空间的蒸馏,核心是Reverse-KL Loss。这种方法不再要求学生模型直接模仿教师输出,而是让学生先生成图片,再由教师模型“指导”其不合理之处。对于任何不符合真实图片分布的生成结果,Loss会急剧增大,从而有效降低了缺陷样本的生成概率,显著提升了画面的合理性与细节。
热启动缓解退化
尽管Reverse-KL效果显著,但其自身也存在分布退化问题,如多样性降低、饱和度增加。在2步蒸馏这种极端设定下,此问题尤为突出。为此,该方案采用了PCM蒸馏进行热启动,为模型提供一个更合理的初始化状态。实验证明,经过热启动的模型,其构图扭曲问题得到明显改善。
对抗学习提升细节
仅靠教师模型指导,学生在生成高质量细节纹理(如苔藓、毛发)上仍显不足。为此,方案引入了对抗学习,通过一个判别器来区分生成图与真实图,迫使学生模型生成更真实的纹理以“欺骗”判别器。通过混合真实数据、引入DINO特征提取器等改进,对抗训练显著提升了生成画面的质感和细节表现力。
该2步生成模型方案从应用效果出发,逐个攻克技术难点,已达到工业落地标准。尽管在复杂场景下仍有提升空间,但这种持续迭代、拥抱开源的精神,预示着AIGC生成效率将迎来新的飞跃,让创意成像变得更加触手可及。