多模态大模型在静态图像识别上表现出色,却常常在需要连续决策的交互式任务中败下阵来。Cube Bench基准测试应运而生,它巧妙地利用魔方这一经典玩具,构建了一个可复现的评估环境,旨在精确衡量模型在空间推理、序列决策和错误恢复等复杂能力上的真实水平。
智能速览
Cube Bench是一个评估多模态模型空间与序列推理能力的魔方基准。
实验显示,模型准确率随魔方打乱深度增加而急剧下降。
一旦任务轨迹出错,模型几乎无法自行修正和恢复。
高精度的视觉重建能力并不能保证模型能做出正确的决策。
闭源模型在多步控制任务上表现显著优于开源模型。
精华内容
Cube Bench的引入,为评估模型能力提供了一个全新的、可控的视角,其核心发现揭示了当前顶尖模型存在的普遍短板。
基准设计
Cube Bench将复杂的魔方还原任务分解为五个核心技能进行评测:从图像重建魔方状态、选择最优解法步骤、预测动作效果、执行多步计划并从错误中恢复,以及自我纠错。
该基准通过算法生成不同打乱深度的魔方状态,确保了测试环境的公平、可控与可复现性。所有参与测试的模型都使用统一的提示词和结果解析器,核心评估指标是当前状态距离还原还差多少步。
性能骤降
实验结果清晰地揭示了模型在长链任务中的脆弱性。在七个受测的MLLM中,随着魔方打乱深度(即任务复杂度)的增加,所有模型的准确率均出现了断崖式下跌。
当任务轨迹出现停滞或偏离正确路径时,模型几乎不具备自我恢复能力,错误会不断累积直至任务完全失败。这表明当前模型在需要连贯、多步推理的场景下存在根本性缺陷。
能力脱钩
一个出乎意料的发现是,模型在不同维度上的能力并非同步发展。部分模型在静态的魔方面重建任务上表现出极高的准确率,但在需要动态决策的“选择最优下一步”或“执行多步计划”任务中表现却接近随机水平。
这种“感知强、决策弱”的现象说明,单纯提升模型的视觉理解能力,无法直接转化为其在复杂交互任务中的控制能力。
模型差距
在Cube Bench的评测中,闭源与开源模型之间的差距被显著放大。在单步感知任务上领先的闭源模型,在更具挑战性的多步控制任务上同样保持着优势。
相比之下,表现最好的开源模型在最难的设置下,得分也仅略高于随机猜测。这反映出目前顶尖的闭源模型在序列控制和错误恢复等核心能力上,建立了较难逾越的技术壁垒。
Cube Bench的价值在于它提供了一个“显微镜”,让研究界能清晰观察到MLLM在动态推理中的具体短板。未来的模型若想在更复杂的现实世界中应用,就必须攻克长链决策和错误恢复这两大难关。这引出了一个值得思考的问题:除了扩大参数规模,我们还能通过什么方式提升模型的“鲁棒性”?