这篇系统性综述首次梳理了在线扩散策略强化学习的研究全貌。它不仅指出了两者融合时面临的目标冲突、计算难题和泛化瓶颈三大核心挑战，还构建了统一的算法分类体系与基准测试。通过实证分析，为规模化机器人控制提供了清晰的理论框架和实践指南，是该领域研究者的重要参考。
智能速览
融合扩散策略与在线RL面临目标、计算、泛化三大核心挑战。
研究提出了动作梯度、Q加权、近邻及时序反向传播四类融合算法。
动作梯度类算法在真实机器人场景中表现更鲁棒。
未来需结合分层RL、安全约束等技术推动实际应用落地。
精华内容
将生成能力强大的扩散模型与需要实时决策的在线强化学习结合，是通往高级机器人控制的关键路径。但这并非坦途，而是充满了算法设计上的权衡与挑战。
三大核心挑战
首先，训练目标存在根本冲突。扩散模型通过去噪过程优化动作分布的似然，而在线强化学习则通过策略梯度或值函数来最大化长期累积奖励，两者目标函数难以直接兼容，需要设计全新的联合优化框架。
其次，计算与梯度问题十分棘手。扩散模型的多步反向去噪过程导致梯度计算链过长，易引发梯度消失或爆炸，且计算成本随扩散步数指数级增长，难以满足在线RL对策略更新的实时性要求。
最后，泛化与鲁棒性遭遇瓶颈。离线扩散策略依赖固定数据集，缺乏与环境动态交互的能力；而在线RL需要持续探索，扩散模型的生成过程可能因探索噪声偏离稳定分布，导致在跨机器人形态或未知环境迁移时失效。
四类融合方案
为应对上述挑战，研究团队系统归纳了四类融合算法。第一类是动作梯度类，以DIPO为代表，它直接优化动作梯度，巧妙避开了对整个扩散链的计算，效率很高，但其性能高度依赖于Q函数的精度。
第二类是Q加权类，如QVPO，该方法通过Q值来加权调整扩散模型的损失函数，能够较好地保留动作的多模态性，但对奖励信号的敏感性较高。
第三类是近邻类，以GenPO为例，它借鉴了PPO算法的约束优化思想，非常适合并行化计算，但在泛化能力上存在一定限制。
第四类是时序反向传播类，如DACER，它采用端到端的方式优化整个扩散链，理论上能达到最优效果，但计算代价极其高昂。
实践与选择
实证分析为不同场景下的算法选择提供了具体指导。在任务适配性方面，GenPO算法在并行仿真环境中表现最佳，而DIPO算法则在需要更高稳定性的真实机器人场景中更为鲁棒。
在扩展性方面，研究发现当扩散模型的步数超过20步时，采用BPTT（时序反向传播）思想的方法性能会急剧下降，而动作梯度类方法则表现出更强的稳定性，不受步数增加的显著影响。
这些结论清晰地揭示了不同算法的优劣势，为研究者在具体应用中选择或设计算法提供了实证依据，避免了盲目试错。
该综述为扩散策略与在线RL的融合构建了坚实的理论基石，并为机器人控制实践指明了方向。然而，如何在计算效率与动态适应性之间找到最佳平衡点，仍是待解的难题。未来，结合分层RL、安全约束和多智能体协作等新路径，能否带来突破性进展？
