什么值得买App下载 App ›
连续签到专享现金活动

VPO:打破大模型推理瓶颈的向量策略优化技术

在大型语言模型的强化学习训练中,如何有效提升推理能力是一个核心议题。传统的标量强化学习方法(如PPO)在依赖搜索的环境中,往往会导致“多样性崩溃”现象,即模型输出分布越来越窄,倾向于只生成安全且已验证的高奖励答案。这种单一化的输出使得测试时的Best of K采样策略失效,无法通过多候选筛选找到更优解。2026年5月发表的《Vector Policy Optimization》(VPO)论文,通过引入向量奖励和随机标量化技术,旨在解决这一训练痛点,重塑模型在测试时的搜索潜力。
01核心原理:向量奖励与随机标量化
VPO的核心逻辑是将训练与推理进行明确分工:训练阶段负责探索并准备多样化的解决方案菜单,而测试阶段的搜索机制则负责利用这些多样性寻找最优解。为了实现这一目标,VPO摒弃了传统方法中将多维度奖励合并为单一标量的做法,而是保持奖励的向量结构。

奖励机制对比

单一标量优化
  • 将多维度奖励(如正确性、效率、格式)合并为单一数值。

  • 模型倾向于优化特定权重下的高分答案。

  • 导致输出分布窄化,出现“多样性崩溃”。

  • 测试时搜索空间受限,难以通过采样提升质量。

随机标量化探索
  • 保持奖励的向量结构,不合并维度。

  • 从Dirichlet分布采样随机权重向量进行评估。

  • 迫使模型在整个帕累托前沿上保持存在。

  • 激励模型生成在不同目标权衡下均能获胜的多样化答案。

02关键技术:多答案链架构
除了奖励机制的改进,VPO还引入了“多答案链”这一架构选择来生成训练数据。传统做法是模型为每个提示独立生成一个答案,而VPO则让模型在一次连续的自回归展开中生成一组M个完成内容,内容之间用特殊符号隔开。
  • 上下文感知避免冗余
    在生成后续答案时,模型能够基于之前生成的答案(Y1到Y-1)作为上下文,从而隐式地学习避免重复。
  • 自回归探索策略
    如果Y1采用了某种策略,模型会利用生成历史尝试不同的策略来生成Y2,自然地扩展内容多样性。
  • 集合级优化目标
    训练目标不是优化单个答案,而是最大化整个答案集合在随机权重下的期望奖励,确保集合中包含能在不同权重下表现最佳的答案。
03实验评估:搜索能力显著提升
测试任务评估维度VPO表现
迷宫导航(合成任务)收益与安全权衡在帕累托前沿保持广泛分布,优于GRPO和PPO的聚集分布。
MusiQ(多跳问答)Best Performance随采样数变化随采样数K增加,性能曲线上升最陡峭,有效利用采样预算。
Life Code Bench(代码生成)Pass@1与Best of K在采样更多答案时,超越GRPO的幅度不断扩大,具备帕累托优势。
OpenEvolve(进化搜索)初始种群多样性提供丰富基因库,结合算法后在最难问题子集上显著优于基线。

VPO在不同任务类型中的实验表现

实验数据表明,VPO的多样性优势并非仅存在于初始状态。在训练过程的长期分析中,无论是在迷宫、MusiQ还是工具使用任务上,VPO始终保持了高奖励空间的多样性,曲线呈持续上升趋势,而基线方法则趋于平缓甚至下降。这说明VPO成功将多样性转化为了一种贯穿训练全过程的稳定特性。
04总结与意义
VPO(向量策略优化)代表了大模型训练思路的重要转变。它不再将强化学习视为寻找单一最优策略的过程,而是定义为准备多样化解决方案菜单的过程。通过向量值奖励和随机标量化,多样性不再是需要额外维护的约束,而是成为优化目标驱动的自然结果。随着人工智能对测试时搜索依赖度的增加,VPO这类优化奖励帕累托前沿的技术,将在构建更强大、更可靠的智能体方面发挥核心作用。

评论

评论区空态插画

当前文章无评论,是时候发表评论了