阿里:优化大模型强化学习评分标准
在多模态生成式AI领域,奖励模型的训练往往局限于对最终判决结果的优化,而忽略了对中间评估标准的质量控制。阿里团队最新发布的论文《Rationale Matters: Learning Transferable Rubrics via Proxy-Guided Critique for VLM Reward Models》针对这一问题,提出了Proxy-GRM框架。该研究旨在通过显式优化评分标准(Rubric)的可迁移性和内部一致性,解决传统方法中数据效率低下及标准泛化能力不足的痛点。
01核心方案:Proxy-GRM 框架
Proxy-GRM 框架的核心在于引入独立的代理模型,将原本不可微的外部评估转化为训练过程中的内在奖励信号。该框架不再仅仅关注模型输出的最终对错,而是重点考察生成的“评分标准”是否具备指导独立评估者做出正确判断的能力。通过这种方式,模型被强制学习通用的评估原则,而非过拟合特定的数据模式。
02技术实现:代理模型与奖励机制
代理模型训练策略对比
Proxy-SFT(监督微调)
基于监督微调的代理模型
- 模仿高质量的推理过程
- 专注于过程评估的忠实度
- 实验表现优于RL代理
Proxy-RL(强化学习)
基于强化学习训练的代理
- 单纯追求结果正确
- 可能损害逻辑一致性
- 在验证任务中表现稍逊
在奖励函数的设计上,Proxy-GRM 构建了包含准确性奖励、格式奖励和代理奖励的复合体系。其中,代理奖励由轻量级的代理模型(仅依据候选评分标准和原始查询来预测偏好顺序)提供,其预测准确率直接反映了评分标准的质量。训练过程采用 GRPO 算法,确保模型在生成标准时不仅格式正确,而且逻辑严密。
03实验结果与性能表现
数据效率与性能对比
Proxy-GRM 表现
仅需约 5 万训练样本
数据效率是同类方法的 4 倍
在三个主流多模态奖励基准上取得 SOTA


传统方法表现
需要更多训练数据
生成的标准泛化能力较弱
优化目标局限于最终判决
实验数据表明,简单的隐式奖励聚合策略优于显式修改准确性奖励的方案,后者容易导致信用分配混淆并引发训练不稳定。此外,生成的评分标准展现出极强的泛化能力,能够显著提升未见过的评估模型在测试时的判断准确率,这证明了模型确实学到了通用的评估原则。
04结论与应用
- 双重验证模式
推理阶段既可直接输出结果,也可通过代理模型验证生成的标准与结论是否一致,提升系统置信度。 - 反直觉发现
在需要高度逻辑一致性的验证任务中,模仿高质量推理过程(SFT)比单纯追求结果正确(RL)更为关键。 - 解决核心痛点
巧妙地将外部评估转化为内在奖励信号,解决了评分标准难以直接优化的问题。
当前文章无评论,是时候发表评论了