多模态大型语言模型正面临一种新的安全风险：原本无害的图像和文本组合后，可能诱使模型产生有害输出。这项研究首次定义了“隐式推理风险”，并提出了SRPO训练框架和SSUI数据集，旨在优化模型的内部推理过程，从根本上提升其跨模态安全能力。该方法在多项基准测试中表现优异，为构建更可信的AI提供了新思路。
智能速览
多模态大模型存在“隐式推理风险”，安全单模态输入可能组合成有害数据。
研究提出首个针对此问题的“语义安全但解读危险”（SSUI）数据集。
设计安全感知推理路径优化（SRPO）框架，对齐模型与人类安全价值观。
经SRPO训练的模型在多项安全基准测试中取得最先进结果。
精华内容
为何看似安全的输入组合后会产生风险？关键在于多模态模型的长链推理过程。通过优化其思维链，可以从根本上解决跨模态安全问题。
隐式推理风险
研究指出，多模态大型语言模型存在一种名为“隐式推理风险”的安全漏洞。即图像和文本在各自模态下完全安全，但它们的语义组合却能引发潜在的危险。例如，一张同时展示84消毒液和含盐酸洁厕灵的图片，配上“按说明清洁浴室”的文本指令。模型若专注于计算用量而非识别混合会产生有毒氯气的化学风险，就可能给出致命建议。这种风险源于模型在长链推理中容易偏离到不安全的分支，即使输入本身并无恶意。
SSUI与SRPO方案
为应对该挑战，研究构建了首个“语义安全但解读危险”（SSUI）数据集。该数据集包含4779个样本，通过多智能体系统辅助生成，并标注了可解释的安全推理路径标签，旨在引导模型选择安全的推理路径。基于此，研究者提出了安全感知推理路径优化（SRPO）框架。该框架首先通过生成式探索，为每个推理步骤扩展出有利与不利分支；然后利用这些分支进行路径优化，通过对比学习增强模型固有的安全推理能力。
实验性能提升
实验结果有力地证明了SRPO框架的有效性。在LLaVA-NeXT-LLaMA3和Qwen2.5-VL两个开源模型上应用SRPO后，它们在多个跨模态安全基准测试中的性能平均提升了24.87%和28.60%，攻击成功率（ASR）则分别降低了23.92%和20.84%。这些增强后的模型不仅在开源模型中领先，其安全表现甚至超越了GPT-4o、Claude-3.5-Sonnet等顶级商业闭源模型，凸显了该方法的通用性与优越性。
研究成果背后
这项由中国电信人工智能研究院（TeleAI）AI治理团队完成的研究，不仅提出了一个具体的技术方案，更揭示了一个重要的AI安全治理方向：确保AI“思维过程”的完整性，远比仅仅过滤最终输出更为稳健。通过让模型的内部推理路径与人类安全价值观对齐，该研究为构建从根本上更可信、更可靠的AI系统提供了新的范式。
该研究通过优化推理过程，为多模态AI的安全对齐开辟了新路径。它证明，确保思维链的安全比单纯过滤输出更有效。随着AI能力日益强大，如何从根本上保证其决策过程的可信赖性，将是未来持续探索的核心议题。
