面对多模态AI层出不穷的安全隐患，传统被动式防御已显不足。ProGuard模型提出了一种创新的主动防御思路，通过强化学习优化，使其能够主动识别并描述预定义分类之外的未知风险，为AI安全领域带来了更高效、更具前瞻性的解决方案。
智能速览
采用强化学习优化，能主动识别并描述未知多模态风险。
构建87K样本的平衡数据集，显著提升模型检测能力。
未知风险识别与描述能力分别提升52.6%与64.8%。
纯强化学习策略跳过SFT，推理效率显著提升。
奖励机制与人类感知高度对齐，偏好一致性超80%。
精华内容
面对不断涌现的新型多模态安全风险，被动式防御已显不足。ProGuard提出了一种主动出击的解决方案，通过强化学习让模型学会‘预见’危险，其核心创新在于训练策略和数据构建的独特性。
核心创新：主动防御
ProGuard的主要突破在于其主动防御机制。不同于依赖固定安全分类的传统模型，它通过强化学习（RL）进行优化，能够识别并描述超出预定义范围的全新风险类型。这意味着模型不再仅仅是已知威胁的“过滤器”，更成为了未知风险的“探知者”，极大地拓展了安全防护的边界。
数据基石：模态平衡
为训练出如此强大的模型，研究团队构建了一个包含87,000个样本的模态平衡数据集。该数据集整合了文本、图像及图文组合数据，并标注了二元安全标签和风险类别，有效缓解了单一模态带来的偏见。
通过多数投票机制和人工验证，数据标签的准确性与可靠性得到了保障，多数投票一致性达到0.7，为模型的高性能奠定了坚实基础。
实测表现：性能卓越
在严格的实验测试中，ProGuard展现了卓越的性能。在二元安全分类任务上，ProGuard-7B模型的表现与闭源的GPT-4o-mini不相上下。
更值得关注的是，在未知风险类别推断任务中，ProGuard-7B在所有基准测试中均取得了显著更高的F1分数。数据显示，其未知风险检测能力提升了52.6%，风险描述能力提升了64.8%。
训练策略：纯RL之道
ProGuard采用了独特的纯强化学习（RL）训练策略，跳过了常见的监督微调（SFT）阶段。模型直接通过奖励机制学习推理，这不仅保持了任务性能，还大幅提高了推理效率。
与经SFT初始化的模型相比，纯RL训练的模型推理长度显著减少，平均仅需52.07个思考令牌，实现了更高效、更简洁的推理过程。
奖励机制：对齐人类
为了让模型的判断更贴近人类直觉，ProGuard设计了一套精巧的奖励机制。该机制通过计算模型预测的风险类别与真实类别之间的语义相似度来发放奖励。
研究团队为每个类别构建了同义词库，并使用句子变换器计算文本嵌入，确保模型生成的描述在语义上与真实类别高度一致。实验结果显示，人类专家对模型预测的偏好与奖励信号的排名一致性超过80%，验证了该设计的有效性。
ProGuard为多模态AI的安全守护提供了一种强有力的主动式范式，其通过强化学习和精巧的数据构建，在未知风险识别上实现了显著突破。它不仅提升了检测性能和效率，更将模型的决策过程与人类感知对齐。这种主动防御思路，或将成为未来构建更可靠AI系统的关键一环。
