针对虚拟试衣长期难以处理“内外叠穿”的痛点,华中科技大学与蚂蚁集团联合提出了端到端框架GO-MLVTON。该技术通过显式建模服装间的遮挡关系,成功解决了多层服装试穿中的特征干扰问题,生成效果在多项指标上显著领先,为电商和数字服装领域带来了新的技术路径。
智能速览
首次定义并解决了真实叠穿场景的虚拟试衣任务。
设计了服装遮挡学习模块,精准分离内外层服装特征。
基于Stable Diffusion,实现了服装与人体的自然形变拟合。
发布了首个多层服装数据集MLG,填补了领域数据空白。
提出LACD评测指标,专门评估多层服装的结构一致性。
在五项核心评测指标上全面超越现有最佳方法。
精华内容
GO-MLVTON框架如何精准捕捉服装间的层次关系,实现逼真的叠穿效果?其核心在于两大创新模块的协同作用。
定义新任务
现有的图像级虚拟试穿(VTON)方法大多局限于单件或并列多件服装,忽略了真实穿搭中的“内外叠穿”场景。GO-MLVTON首次将多层虚拟试穿(ML-VTON)定义为一项明确的任务范式,其核心挑战在于精确建模内外服装之间的空间遮挡与层次关系,这是生成真实视觉效果的基础。
特征解耦
为解决服装特征互相干扰的问题,研究团队提出了服装遮挡学习模块(GOL)。该模块通过双编码器分别提取内层和外层服装的语义特征,并预测一个空间注意力图。这个图能智能地抑制被遮挡的内层服装特征,只保留可见区域的信息,从根本上避免了因特征错位导致的视觉错误。
形变与生成
在潜空间中,基于Stable Diffusion的服装形变与拟合模块(GMF)联合建模人体结构与多层服装。它利用自注意力机制,让模型能够理解服装与人体的相互作用,从而实现自然的服装形变和紧密的身体贴合。即使在复杂的叠穿情况下,也能保证服装的形态和纹理真实自然。
数据与标准
为推动该领域研究,团队构建了首个多层服装数据集MLG,包含3,538个高质量样本,涵盖内外层服装、真实叠穿图像及去衣人体图像。同时,他们提出了新的评测指标LACD,该指标在像素级误差基础上对层间过渡区域进行加权,能更精确地衡量多层服装的结构一致性与遮挡自然性。
效果验证
在FID、KID、SSIM、LPIPS及LACD五项指标上,GO-MLVTON的评测结果全面超越了CAT-DM、MV-VTON等当前最优方法。这充分证明了该框架在处理复杂遮挡关系和生成高保真、高真实感多层试穿效果方面的显著优势,为虚拟试衣技术的实用性落地提供了强有力的技术支持。
GO-MLVTON的成功标志着虚拟试衣技术向真实性和实用性迈出了一大步。它不仅为用户提供了更接近现实的线上购物体验,也为数字时尚领域开辟了新的想象空间。未来,这项技术能否进一步融合动态姿态,实现更自由的虚拟穿搭?