本文详细记录了Qwen-Image-i2L模型的研发历程，这是一个能将单张图像直接转换为LoRA模型权重的端到端方案。它揭示了在压缩传统数小时训练过程至一次前向推理中所面临的结构设计挑战、失败的实验与关键突破。对于AI研究者和开发者而言，这份记录提供了宝贵的实践经验与解决复杂模型问题的全新视角，展示了前沿技术探索的真实路径。
智能速览
“图生LoRA”模型旨在将耗时数小时的LoRA训练压缩至一次模型推理。
早期采用Transformer架构的实验因模型退化为通用LoRA而失败。
最终模型结构采用多个图像编码器配合轻量级双层全连接网络，解决了参数与泛化难题。
通过Style、Coarse到Fine等多个版本的迭代，模型在细节保持与风格提取能力上不断权衡与改进。
最终采用Coarse、Fine与Bias三个专家模型拼接的MoE架构，勉强达到了预期效果。
目前该模型生成的LoRA虽不及传统训练，但可用作LoRA训练的初始化权重，显著加速收敛。
精华内容
将一个复杂的训练过程凝练成一次模型推理，这背后是无数次的结构设计与实验探索。Qwen-Image-i2L的诞生之路，充满了挑战与巧思。
架构的挑战
最初的构想是利用强大的Transformer架构，直接将图像编码并生成LoRA权重序列。然而，在数万张图片和8*A100 GPU的投入下，模型却意外退化，无论输入什么图像，最终都趋于一个效果平平的静态LoRA。这次失败表明，简单的序列化处理无法理解LoRA张量内部各维度的复杂作用，迫使团队必须寻找收敛更快的模型结构。
结构优化与融合
为避免参数量轻易突破100B，团队采用双层全连接层替代了庞大的单层结构，但这又带来了泛化能力不足的新问题。解决方案是引入更强的图像编码器。最终模型集成了SigLIP2、DINOv3与Qwen-VL多个编码器，形成了“多图像编码器+多个双层全连接”的架构。这一设计在控制参数量的同时，极大地提升了模型对输入图像的理解能力。
迭代与权衡
首个版本Qwen-Image-i2L-Style（2.4B参数）展现了惊人的风格提取能力，但对图像内容的记忆能力几乎为零。为提升细节保持能力，团队将模型升级至7.9B参数的Qwen-Image-i2L-Coarse。好消息是，生成的猫与输入更相似了；坏消息是，风格保持能力急剧下降，出现了“语义入侵”现象。这揭示了模型在细节记忆与风格泛化之间的内在矛盾。
MoE与整合方案
在Coarse模型基础上，团队借鉴了MoE思想，训练了负责不同rank的专家模型Qwen-Image-i2L-Fine，它提升了细节相似度，却导致图像质量下降。为了修复这一问题，团队创新性地引入了“Bias”模型，通过差分训练，将生成结果的数据分布重新对齐。最终，由Coarse、Fine、Bias三者拼接而成的MoE架构，终于达到了一个勉强可用的效果。
Qwen-Image-i2L项目虽然尚未完美，但其作为LoRA训练初始化权重的应用已展现出巨大潜力，能显著加速训练进程。这次从疯狂想法到初步实现的探索，为端到端模型生成领域提供了宝贵经验。未来，这类模型的潜力将如何被进一步挖掘？这无疑是值得持续关注的方向。
