当前位置:
AIGC文章详情

张大妈

AI绘画新思路:智能修复,细节更完美

源自小红薯:LLM 翰林院

01-29 14:04

当前主流的AI绘画模型虽能生成逼真图像,但在肢体、面部等细节处常出现扭曲。一项名为Agentic Retoucher的新研究,通过模拟人类感知、推理和行动的闭环过程,实现了对生成图像的精准智能修复,显著提升了图像质量与用户偏好匹配度。

AI绘画新思路:智能修复,细节更完美智能速览

  • 现有AI绘画模型常在肢体、面部等细节出现扭曲。

  • Agentic Retoucher框架提出感知-推理-行动三步修复法。

  • 感知代理负责精确定位图像中的微小瑕疵区域。

  • 推理代理诊断问题并使修复方案符合人类偏好。

  • 行动代理自适应地规划并执行局部修复操作。

  • 该方法在质量和用户偏好对齐上超越了现有技术。

AI绘画新思路:智能修复,细节更完美精华内容

如何像人类一样修复AI绘画的瑕疵?新研究提出了一个智能解决方案,通过分层决策来精确修正图像,让细节更完美。

现有方案的局限

尽管SDXL、FLUX等文本到图像(T2I)扩散模型在逼真度上取得了显著成就,但小规模的扭曲问题依然普遍存在,尤其是在四肢、面部、文本等细节上。现有的细化方法存在明显短板:要么进行代价高昂的迭代式重新生成,要么依赖于空间定位能力较弱的视觉语言模型(VLMs),这容易导致语义漂移和不可靠的局部编辑,修复效果不尽人意。

智能修复三步法

为解决上述问题,Agentic Retoucher框架将生成后的校正重新定义为一个类似人类的“感知-推理-行动”循环。首先,感知代理在文本-图像一致性线索的引导下,学习上下文显著性,以实现对扭曲的细粒度定位。接着,推理代理通过逐步偏好对齐,执行与人类判断一致的推理诊断。最后,行动代理根据用户偏好,自适应地规划并执行局部修复,将感知证据、语言推理和可控校正整合到一个统一的自我校正流程中。

效果与评估

为了实现对模型的细粒度监督和定量评估,研究者还构建了一个名为GenBlemish-27K的新数据集,其中包含6000张T2I图像和27000个跨12个类别的人工标注瑕疵区域。大量实验表明,Agentic Retoucher在感知质量、扭曲定位准确性以及与人类偏好对齐方面,均一致性地优于现有最先进的方法,为自我校正和视觉可靠的T2I生成树立了新的技术典范。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章