具身智能的发展受限于样本效率低下，物理世界中的试错成本高昂。清华大学与加州伯克利大学联合提出的BOOM框架，通过创新的自举循环机制，有效结合了世界模型规划与离轨策略学习，显著提升了智能体在复杂高维控制任务中的性能与稳定性，为具身智能的现实应用提供了全新思路。
智能速览
传统强化学习因样本效率低，难以应用于高成本的现实物理世界。
BOOM框架通过自举循环机制，解决了规划器与策略网络的角色偏差问题。
无似然对齐机制，实现了策略与规划动作的高效对齐。
软Q加权机制，引导策略优先学习高价值的优质经验。
在多个高维任务上刷新SOTA，部分任务性能提升超100%。
精华内容
世界模型与强化学习的结合，被视为提升具身智能样本效率的关键。然而，如何让在线规划与策略学习高效协同，一直是学界难题。BOOM框架为此带来了突破性进展。
样本效率的瓶颈
具身智能体在现实世界中学习，面临着一个核心瓶颈：样本效率低下。不同于纯数字任务，具身任务需要感知复杂的物理环境并输出高维度的连续控制指令，这导致了巨大的状态-动作搜索空间。传统的无模型强化学习方法，由于缺乏对物理规律的理解，完全依赖于海量盲目试错来学习。但在物理世界中，每一次交互都意味着时间、成本和安全风险，这使得动辄数亿次的交互需求变得极不现实。
BOOM的自举循环
为破解此难题，BOOM框架提出了一种巧妙的“自举循环”机制。传统方法中，规划器和策略网络的角色不同，导致价值函数在策略实际访问的区域可能产生高估，进而引发训练不稳定。BOOM则让策略网络先为规划器提供初始动作方案，然后规划器利用世界模型精炼出更高质量的动作，再通过行为对齐反馈给策略网络，形成一个互相促进的闭环。
两大关键技术
BOOM的实现依赖于两大关键技术。首先是“无似然对齐机制”，它解决了在线规划器动作分布难以计算似然度的问题，无需知道具体概率分布即可实现策略与规划动作的高效对齐。其次是“软Q加权机制”，它根据Q函数为规划动作动态赋予权重，引导策略网络优先学习那些高价值的优质经验，从而加速学习进程并提升稳定性。
刷新SOTA的性能
实验结果充分验证了BOOM的有效性。在DeepMind Control Suite和极具挑战性的Humanoid-Bench上，BOOM在14个高维任务中的最终表现和训练稳定性均达到了SOTA水平。具体来看，它比TD-MPC2高出17.7%，比DreamerV3在Humanoid-Bench上的表现高出47.7%。甚至在需要滑行或跨障碍的复杂任务中，BOOM的性能提升也超过了100%，展现出极强的控制鲁棒性。
BOOM框架通过自举对齐机制，成功弥合了世界模型规划与离轨策略学习间的鸿沟，为高维连续控制任务提供了一套高效稳定的解决方案。这不仅是一项理论突破，更为具身智能走向复杂的现实世界铺平了道路。未来，智能体将如何更高效地学习与人类共存？
