什么值得买App下载 App ›
连续签到专享现金活动

中山大学郭裕兰团队:数据充足却训练失败,多智能体到底卡在哪丨CVPR 2026

随着自动驾驶与仓储物流等应用场景的落地,多智能体协作技术的重要性日益凸显。现实世界的复杂任务往往难以由单一智能体独立完成,且系统在实际部署中缺乏试错机会,因此离线强化学习成为主要研究方向。然而,从单智能体迈向多智能体时,训练难度呈指数级上升,核心瓶颈在于稀疏奖励下的反馈缺失与责任分配难题。针对这一现状,中山大学郭裕兰团队发布了MangoBench基准测试,旨在通过系统性评估解答在限制试错条件下,多智能体如何实现高效协作。
01核心瓶颈:从数据充足到训练失效
尽管行业积累了大量历史数据,但多智能体离线强化学习仍面临两大核心障碍:一是稀疏奖励问题,即在复杂任务中模型难以获得明确反馈,导致无法判断决策的正误;二是责任分配问题,即当协作成功时,系统难以识别具体是哪个智能体发挥了关键作用。这两个因素导致模型训练梯度更新困难,使得明明有数据支撑,系统却无法学会稳定协作。
02MangoBench:多维度的性能分化
研究团队通过MangoBench对不同方法进行了多维度测试,结果显示模型性能在不同任务难度和场景下呈现显著分化。在导航与机械臂等核心任务中,以IHIQL为代表的分层方法表现出了极强的鲁棒性,而传统集中式训练方法在任务复杂度提升后迅速失效。
任务场景领先方法对比方法表现关键结论
中等难度导航IHIQL (80%-95%)ICRL (40%-60%), 其他接近0%分层方法在稀疏奖励下优势明显
同步抬栏杆IHIQL (>80%)GCMBC (~60%), ICRL (~50%)IHIQL训练时间仅为模仿学习的5%
异步放置食物ICRL (30%-40%)IHIQL/GCMBC较低, 模仿学习<10%任务强调步骤衔接时,对比学习更优
训练方式对比分布式IHIQL集中式HIQL-CTDE (复杂任务降至1%)信息更多并非优势,结构化拆分更关键

不同方法在MangoBench测试中的性能对比

03技术原理:目标驱动与分层策略
为解决上述问题,研究团队将传统的奖励驱动改写为目标驱动,通过在离线数据中引入目标状态,自动生成密集奖励,从而放大了数据价值。此外,实验验证了分层策略的有效性:通过设置中间目标,将长周期复杂任务拆解为多个短周期子任务。这不仅缓解了稀疏奖励带来的反馈延迟,也降低了长时间依赖的学习难度,使模型能够更稳定地收敛。
04研究价值与未来展望
该研究的核心价值在于指出了离线多智能体强化学习的根本障碍并非模型能力不足,而是学习信号弱与协作机制缺失。通过引入目标条件和分层架构,能够显著提升系统在不可试错场景下的泛化能力。这一进展对于自动驾驶、工业自动化及医疗辅助机器人等高风险应用领域具有重要的指导意义,有望推动多智能体系统在现实环境中的安全落地。

评论

评论区空态插画

当前文章无评论,是时候发表评论了