张大妈

强化学习“教”AI先思考后P图:ThinkRL-Edit解耦推理与生成,指令遵循度飙升14.6%!

源自知乎:我爱计算机视觉

01-26 18:20

AI图像编辑技术虽已能处理简单指令,但在面对需要逻辑推理的复杂任务时常现短板。ThinkRL-Edit框架的出现,通过解耦视觉推理与图像生成,让模型先“思考”再“动手”,显著提升了对复杂指令的遵循度和编辑准确性,为AI图像编辑领域开辟了新的思路。

强化学习“教”AI先思考后P图:ThinkRL-Edit解耦推理与生成,指令遵循度飙升14.6%!智能速览

  • ThinkRL-Edit是一个结合强化学习与思维链的新AI图像编辑框架。

  • 它将视觉推理从图像合成中解耦,实现先思考后执行的编辑流程。

  • 该方法有效解决了AI在处理抽象或逻辑关系指令时的“犯迷糊”问题。

  • 在KRIS-Bench测试中,其指令遵循度从56.54%提升至71.16%。

  • 在RISE-Bench测试中,综合得分高达29.7,接近第二名成绩的2.4倍。

  • 用户研究显示,近八成用户认为其编辑结果最符合指令要求。

强化学习“教”AI先思考后P图:ThinkRL-Edit解耦推理与生成,指令遵循度飙升14.6%!精华内容

当前AI图像编辑模型在面对“把最高的建筑涂成蓝色”这类需要推理的指令时,往往力不从心。ThinkRL-Edit正是为解决这一核心痛点而生,它借鉴了人类的思考方式。

AI编辑的痛点

指令驱动的图像编辑技术发展迅速,可以轻松实现更换背景或改变颜色等操作。然而,当指令包含抽象概念、逻辑关系或空间推理时,现有模型的表现便急剧下降。例如,模型无法准确识别哪座建筑“最高”,或在“移除除猫以外的所有动物”时错误地将猫也一并删除。这种“以推理为中心的图像编辑”任务,已成为当前技术发展的瓶颈。

解耦推理与生成

ThinkRL-Edit框架的核心创新在于将视觉推理过程与图像合成过程完全解耦。它巧妙地将强化学习与大语言模型中的思维链技术相结合,构建了一个“思考-决策”流程。模型首先在“推理空间”内探索,形成正确的编辑策略,然后才在“生成空间”内执行图像修改。这种“先想明白,再画出来”的机制,确保了编辑动作的逻辑正确性。

性能实测领先

在两大权威基准测试KRIS-Bench和RISE-Bench上,ThinkRL-Edit展现出压倒性优势。在KRIS-Bench上,其指令遵循度指标从先前最佳的56.54%大幅提升至71.16%,增幅超过14.6个百分点,综合得分达到71.65,成为开源模型中的SOTA。在更侧重因果与时序推理的RISE-Bench上,其得分高达29.7,几乎是次优模型(12.5分)的2.4倍。此外,79.36%的用户在研究中认为其编辑结果最符合预期。

开源与展望

尽管该论文已取得突破性成果,并声称在开源模型中达到SOTA水平,但截至目前,其相关的代码仓库和模型权重尚未公开。这一情况引起了业界的广泛关注,许多研究者和开发者期待其能尽快开源,以便进一步推动相关技术的发展和应用落地,让更多人体验到这项技术的强大潜力。

ThinkRL-Edit不仅是技术上的一次显著进步,更代表了AI从“执行工具”向“思考伙伴”演进的重要一步。通过赋予AI先思考后行动的能力,它为解决更复杂的视觉任务提供了全新范式,未来或将在创意设计、内容生成等多个领域释放巨大价值。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章