多模态大模型表现优异，但其内在能力构成仍是个谜。微软的MathLens基准测试将其拆解为感知、推理与整合三大维度，揭示了不同训练方法对各能力的影响，为优化模型指明了方向，避免盲目追求综合分数。
智能速览
强化学习擅长提升模型的感知能力。
文本微调能通过增强推理间接改善感知。
推理与感知能力关联紧密，可共同进步。
整合能力是当前多模态模型最大的短板。
训练方式直接决定了模型的鲁棒性和稳定性。
精华内容
要真正提升多模态模型，就不能只看总分。微软这项研究就像一张能力地图，清晰地指明了前进方向。
感知训练
研究发现，强化学习（RL）在训练模型的感知能力上效果显著，但单纯依赖RL并非最优解。相比之下，采用文本数据进行监督，能更有效地引导模型从图像中提取关键信息。这表明，高质量的文本标注对提升模型的“看图”能力至关重要，其效果甚至超过了纯粹的视觉强化训练。
感知与推理
模型的感知与推理能力并非孤立，而是相互促进。通过文本数据进行微调，模型被迫进行更深层次的“反思推理”，这个过程反过来又增强了其对图像信息的感知精度。数据显示，随着感知能力的提升，模型的逻辑推理表现也随之改善，证明了二者相辅相成的关系。
整合难题
在三大核心能力中，整合能力——即将感知到的视觉证据有效应用于逻辑推理——是当前最大的技术难点。测试表明，即使模型具备了不错的感知和推理能力，也常常在将两者结合的环节上失败。这构成了多模态模型通往更高阶智能的主要瓶颈。
模型根基
训练方式的选择，直接决定了模型的最终品质。研究明确指出，不同的训练路径会显著影响模型的鲁棒性（抗干扰能力）和稳定性（输出一致性）。这意味着，在模型开发初期选择正确的技术路线，比单纯追求某一项指标的高分更为重要。
这项研究为多模态模型的发展提供了清晰的路线图，让优化方向从追求总分转向了精雕细琢。未来，模型的整合能力能否迎来突破，将是值得关注的关键。
