5秒出4张2K大图!阿里提出2步生成方案,拉爆AI生图进度条

源自知乎:量子位

02-01 13:06

AI图像生成耗时过长一直是痛点。阿里巴巴智能引擎团队提出了一种创新的2步生成方案,将生图时间从近一分钟压缩至5秒,速度提升40倍,同时保证2K高清画质。这项技术通过改进蒸馏方法,解决了传统方案在速度与质量间的权衡问题,为AI图像生成领域带来了新的突破。

5秒出4张2K大图!阿里提出2步生成方案,拉爆AI生图进度条智能速览

  • 阿里新方案实现5秒生成4张2K高清图,速度提升40倍。

  • 采用分布匹配蒸馏(DMD2)替代传统轨迹蒸馏,避免图像模糊。

  • 通过PCM热启动对抗训练,解决了2步蒸馏中的分布退化问题。

  • 引入对抗学习(GAN)显著增强了毛发、苔藓等细节的生成效果。

  • 模型权重已在HuggingFace和ModelScope开源,并集成至呜哩AI平台。

5秒出4张2K大图!阿里提出2步生成方案,拉爆AI生图进度条精华内容

这项近乎“物理外挂”般的速度飞跃,并非单一算法的功劳,而是团队对现有技术进行针对性优化的成果。它究竟是如何一步步攻克难关,实现速度与质量兼得的?

传统方案的瓶颈

早期的轨迹蒸馏方案试图让新模型模仿老模型的生成路径,但在极少步数下,图像质量会严重下降,出现模糊问题。这是因为其约束方式对所有图像区域一视同仁,导致文字、五官等关键细节因占比低而学习不充分,生成结果常常扭曲失真。

概率空间的革新

为了解决模糊问题,研究转向了概率空间蒸馏,其中DMD2算法影响深远。它不再直接约束学生模型去模仿什么,而是让学生先生成图片,再由教师模型指出“哪里不对”。这种设计能有效降低不合理样本的生成概率,大幅提升了画面的细节和合理性,成为当前主流策略。

解决分布退化

然而,DMD2算法也存在分布退化问题,如多样性降低、物体形体扭曲等。在2步生成中尤为明显。团队通过引入PCM蒸馏进行模型“热启动”,为模型提供了一个更合理的初始化起点,实验证明这能有效改善形体扭曲,让构图更自然。

对抗学习补细节

在解决了宏观构图后,团队发现DMD2在生成苔藓、毛发等精细纹理上仍有欠缺。为此,方案引入了对抗学习(GAN)。通过生成器与判别器的相互博弈,迫使模型不断学习如何生成更逼真的细节,从而显著提升了画面的质感和真实感。

阿里团队的2步生成方案,通过融合分布匹配、热启动与对抗学习,成功攻克了AI生图速度与质量的难题,为行业树立了新标杆。尽管在复杂场景下仍有提升空间,但这项技术已为即时创作打开了大门。未来,AI生成工具将如何改变我们的创作流程?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章