多模态大模型“嘴硬”问题破解:置信度校准提升视觉推理准确率
多模态大模型在处理复杂视觉推理任务时,往往表现出一种“盲目自信”:即使输入图像因噪声干扰已接近不可辨认,模型给出的置信度依然维持高位,但准确率却断崖式下跌。浙江大学联合阿里巴巴、香港城市大学及密歇根大学的研究团队将这种现象定义为“感知钝化”(Perceptual Bluntness)。针对这一导致幻觉和误判的核心根源,团队提出了CA-TTS(Confidence-Aware Test-Time Scaling)框架,通过置信度驱动的强化学习校准自我评估能力,并将校准后的置信度转化为推理阶段的资源分配信号。
01问题背景:感知钝化现象
在实验中,研究团队将输入图像从清晰状态逐步加噪至接近不可辨认,同时监测模型的准确率与置信度。结果显示,随着图像质量的下降,模型准确率显著降低,但置信度几乎没有变化。这意味着模型并未真正感知到视觉证据的退化,即便在“看不清”的情况下,依然笃定地给出错误答案。为了度量这一问题,研究团队没有沿用文本模型的token级校准方式,而是将置信度定义为整个输出序列的平均负对数概率(NMLP),建立了响应级别的置信度度量。
02核心方法:CDRL校准与CA-TTS框架
- 训练阶段:CDRL校准
采用置信度驱动的强化学习(CDRL),让模型同时处理原始图像与加噪图像。通过“感知敏感性奖励”鼓励模型在两种图像间产生合理的置信度差异,通过“校准一致性奖励”在预测正确且置信度高时给予正向奖励,在错误但自信时施加惩罚。这迫使模型对视觉退化保持敏感,并对自身判断保持诚实。训练后,模型面对噪声或遮挡时的置信度下降幅度达到了训练前的4.3倍以上。 - 推理阶段:CA-TTS框架
将校准后的置信度转化为调度信号,包含三个协同模块:Self-Consistency采用置信度加权投票并引入专家模型二次评估;Self-Reflection在置信度不足时由专家模型生成批评意见,引导重新推理;Self-Check在视觉层面通过对比解码验证答案对视觉证据的依赖程度。
03实验数据:四大基准全面领先
| 数据集 | 基线准确率 | CA-TTS准确率 | 提升幅度 |
|---|---|---|---|
| Math-Vision | 23.0% | 42.4% | 几乎翻倍 |
| MMMU | 48.8% (基线+17.5%) | 66.3% | 提升17.5个百分点 |
| 综合平均 | - | - | 平均超越SOTA 8.8% |
CA-TTS在主流视觉推理基准上的表现(基座模型统一为Qwen2.5-VL-7B)
消融实验显示,单独使用CDRL可提升3.4个百分点,单独使用CA-TTS提升15.0个百分点,两者结合总提升达19.4个百分点,表明置信度校准为推理框架提供了可靠基础。在Test-Time Scaling测试中,CA-TTS的扩展斜率达到3.65,远超Majority Voting的1.64,证明了其在增加算力投入时具有更高的效率。
04技术价值:Perceive-then-Reason范式
这项工作的核心价值在于提出了“先感知后推理”(Perceive-then-Reason)的新范式。传统多模态推理默认模型已充分利用视觉信息,只专注于增强推理能力;而CA-TTS指出,必须先修正模型对视觉证据的感知与评估,再指导推理资源的分配。这种范式的转变,为提升多模态大模型在高风险场景中的可靠性提供了新方向,相关论文已被CVPR 2026接收。
当前文章无评论,是时候发表评论了