什么值得买App下载 App ›
连续签到专享现金活动

上交大智能计算研究院论文:不只算对答案,大模型如何真正学会运筹建模丨ICLR 2026

在大语言模型向专业领域应用拓展的过程中,运筹优化(OR)因其具备清晰的数学结构和可验证的求解结果,被视为极具潜力的应用方向。然而,真实的运筹建模高度依赖变量定义、约束设计与目标函数之间的整体一致性,推理过程具有强步骤依赖和强耦合特征。当前主流训练范式主要存在两类局限:一是结果导向奖励存在信用分配问题,仅依据最终求解结果进行奖励,可能掩盖中间推理过程的错误;二是传统判别式过程监督存在短视性,难以捕捉步骤间的依赖关系。这种监督信号与任务本质的错位,限制了模型在工业级场景下的可靠性。针对这一问题,上海交通大学智能计算研究院葛冬冬、林江浩研究团队提出了 StepORLM 框架,通过生成式过程监督与自进化机制,试图引导模型从根本上学到正确的运筹建模逻辑。
01StepORLM 框架:双阶段训练与自进化闭环
StepORLM 的核心在于“两阶段训练 + 自进化闭环”的设计,旨在解决传统方法在长链条推理任务中的监督失真问题。框架首先通过 Warm-up 阶段构建初始策略模型,利用教师模型生成并验证高质量推理轨迹,确保模型具备基本的结构化建模能力。在此基础上,系统进入策略模型与生成式过程奖励模型(GenPRM)协同进化的核心阶段。
  1. 双源反馈机制:策略模型针对同一问题生成多条候选轨迹,系统同时引入外部求解器的结果正确性反馈和 GenPRM 的过程质量评价,从最终结果和推理过程两个维度对轨迹进行评估。
  2. 加权偏好优化:根据双源反馈构造偏好对,并引入加权的 Direct Preference Optimization 方法,对不同偏好对赋予不同权重,以此区分严重建模错误与细微推理改进,进而更新策略模型。
  3. 正反馈闭环:GenPRM 利用求解器验证通过的高质量轨迹进行持续监督微调,随着策略模型生成轨迹质量的提升,GenPRM 的评估标准也愈发精准,二者在迭代中形成稳定的正反馈闭环。
02实验表现:小模型超越超大模型
在涵盖线性规划到工业级混合整数规划的 6 个基准数据集(NL4Opt、MAMO、NLP4LP、ComplexOR、IndustryOR、ReSocratic)上,StepORLM 展现出了显著的性能优势。实验统一采用 Pass@1 accuracy 作为评价指标,严格约束建模逻辑和实现层面的可靠性。结果显示,仅有 8B 参数规模的 StepORLM,在平均准确率上明显超过了 DeepSeek-V3(671B)和 Qwen2.5-72B 等超大模型,并全面优于 GPT-4o 的零样本表现。
对比维度StepORLM通用大模型专用微调模型Agentic 方法
代表模型8B 参数模型GPT-4o、DeepSeek-V3ORLM 等CoT、OptiMUS
核心优势自进化训练、过程监督通用能力强、规模大领域适应性强多步推理修正
主要局限依赖高质量初始化运筹建模一致性不足过程监督短视推理阶段修正成本高
实验结果平均准确率显著领先高难度场景表现一般多步骤推理任务较弱稳定性较低

不同类型运筹优化方法对比

进一步实验表明,当 StepORLM 与 GenPRM 结合使用时,其平均 Pass@1 准确率可进一步提升至 85.6%。值得注意的是,GenPRM 表现出模型无关性,当与其他运筹优化模型(如 ORLM)结合时,同样能带来接近 10% 的性能提升,证明其学到的是通用的运筹推理判据。此外,消融实验验证了 Warm-up、自进化训练及加权 DPO 的必要性,确认了性能增益主要来源于高质量的监督信号而非单纯的数据堆砌。
03研究意义:迈向系统可靠的运筹建模
该研究从方法论层面证实,在具有强步骤依赖特征的运筹优化任务中,缺乏推理能力的奖励模型无法提供有效监督。通过引入具备整体理解能力的回顾式过程监督,StepORLM 有效缓解了归因错误和短视问题。这一范式不仅推动了模型从“会写线性规划”向“会进行运筹建模”的转变,其强调的整体化过程监督思想,也为数学证明、代码生成等其他长链条决策任务提供了具有普适性的解决思路。

评论

评论区空态插画

当前文章无评论,是时候发表评论了