视觉语言模型虽展现出强大的零样本能力，但其决策常受视觉与文本间的虚假相关性干扰，影响模型可信度。本文提出一种名为BiPrompt的双边提示优化框架，无需重新训练即可在测试时同时优化两种模态，有效提升模型在复杂场景下的鲁棒性与准确率，为构建更可靠的AI系统提供了轻量化路径。
智能速览
BiPrompt是首个针对视觉和文本双模态的测试时去偏方案
通过结构化注意力引导擦除，精准抑制视觉背景干扰
采用平衡提示归一化技术，对齐文本嵌入至各向同性语义空间
在无需领域监督的情况下，实现因果性与领域不变性推理
实验证明其在多种基准上平均准确率和最差组准确率均有提升
精华内容
视觉语言模型虽强大，却常因虚假相关性导致判断失准。如何在不重新训练模型的前提下，提升其可信度与鲁棒性？BiPrompt框架提供了一个轻量化的解答。
为何需要去偏
当前主流的视觉语言基础模型（如CLIP）虽然能实现令人印象深刻的零样本泛化，但存在一个核心短板：容易被数据中的虚假相关性误导。例如，模型可能因为图片中频繁出现某种背景而将其与特定类别错误关联，而非学习到物体本身的特征。现有的去偏方法大多只针对单一模态（或视觉，或文本）进行优化，导致鲁棒性提升不完整，在面对数据分布变化时，模型性能依然不稳定。
双模态框架
为解决上述问题，BiPrompt框架被提出，其核心创新在于“双边”处理。它是一个测试时自适应框架，意味着在模型训练完成后，仅通过优化提示词即可实现去偏，无需对整个模型进行重新训练或获取额外的领域监督数据。该框架同步对视觉和文本两种模态进行干预，旨在最小化虚假线索与最终预测结果之间的条件互信息，从而引导模型做出更基于因果关系的判断。
视觉侧去偏
在视觉模态，BiPrompt采用了一种名为“结构化注意力引导擦除”的技术。它并非随机地擦除图像区域，而是首先利用Grad-CAM等技术生成注意力图，清晰地区分出与预测结果强相关的因果区域（如前景物体）和可能带来干扰的虚假区域（如背景）。随后，框架会针对性地抑制背景区域的激活，并强化因果区域与虚假区域预测的正交性，确保模型决策不会被无关的视觉特征带偏。
文本侧去偏
在文本模态，框架引入了“平衡提示归一化”机制。此机制是一种可学习的重新中心化方法，它能自适应地将各类别的文本嵌入对齐到一个各向同性的语义空间中。这样做的好处是，可以有效缓解因某些类别文本描述更频繁、更显著而导致的“语言偏倚”问题，避免模型在预测时过度偏向这些“热门”类别，让文本信息的贡献更加公平和均衡。
BiPrompt框架通过在视觉和文本两端同步发力，为提升视觉语言模型的可信度提供了一套高效且轻量化的解决方案。它在不增加训练成本的前提下，显著增强了模型的鲁棒性，展现了从相关性走向因果推理的巨大潜力，为未来构建更值得信赖的AI应用铺平了道路。
