什么值得买App

我的兴趣消费指南

什么值得买
连续签到专享现金活动

阿里:优化大模型强化学习评分标准

在多模态生成式AI领域,奖励模型的训练往往局限于对最终判决结果的优化,而忽略了对中间评估标准的质量控制。阿里团队最新发布的论文《Rationale Matters: Learning Transferable Rubrics via Proxy-Guided Critique for VLM Reward Models》针对这一问题,提出了Proxy-GRM框架。该研究旨在通过显式优化评分标准(Rubric)的可迁移性和内部一致性,解决传统方法中数据效率低下及标准泛化能力不足的痛点。
01核心方案:Proxy-GRM 框架
Proxy-GRM 框架的核心在于引入独立的代理模型,将原本不可微的外部评估转化为训练过程中的内在奖励信号。该框架不再仅仅关注模型输出的最终对错,而是重点考察生成的“评分标准”是否具备指导独立评估者做出正确判断的能力。通过这种方式,模型被强制学习通用的评估原则,而非过拟合特定的数据模式。
02技术实现:代理模型与奖励机制

代理模型训练策略对比

Proxy-SFT(监督微调)

基于监督微调的代理模型

  • 模仿高质量的推理过程
  • 专注于过程评估的忠实度
  • 实验表现优于RL代理
Proxy-RL(强化学习)

基于强化学习训练的代理

  • 单纯追求结果正确
  • 可能损害逻辑一致性
  • 在验证任务中表现稍逊
在奖励函数的设计上,Proxy-GRM 构建了包含准确性奖励、格式奖励和代理奖励的复合体系。其中,代理奖励由轻量级的代理模型(仅依据候选评分标准和原始查询来预测偏好顺序)提供,其预测准确率直接反映了评分标准的质量。训练过程采用 GRPO 算法,确保模型在生成标准时不仅格式正确,而且逻辑严密。
03实验结果与性能表现

数据效率与性能对比

Proxy-GRM 表现
  • 仅需约 5 万训练样本

  • 数据效率是同类方法的 4 倍

  • 在三个主流多模态奖励基准上取得 SOTA

传统方法表现
  • 需要更多训练数据

  • 生成的标准泛化能力较弱

  • 优化目标局限于最终判决

实验数据表明,简单的隐式奖励聚合策略优于显式修改准确性奖励的方案,后者容易导致信用分配混淆并引发训练不稳定。此外,生成的评分标准展现出极强的泛化能力,能够显著提升未见过的评估模型在测试时的判断准确率,这证明了模型确实学到了通用的评估原则。
04结论与应用
  • 双重验证模式
    推理阶段既可直接输出结果,也可通过代理模型验证生成的标准与结论是否一致,提升系统置信度。
  • 反直觉发现
    在需要高度逻辑一致性的验证任务中,模仿高质量推理过程(SFT)比单纯追求结果正确(RL)更为关键。
  • 解决核心痛点
    巧妙地将外部评估转化为内在奖励信号,解决了评分标准难以直接优化的问题。

评论

评论区空态插画

当前文章无评论,是时候发表评论了