伯克利:安全训练不怕“有用性微调”
大模型的安全对齐一直是行业关注的焦点。传统研究普遍认为,当大模型经过安全对齐后,如果继续进行旨在提升回答质量的“有用性微调”,模型此前习得的安全性往往会遭到破坏。然而,伯克利大学的一项最新研究通过分析智能体场景发现了一个相反的现象:在多步工具调用的复杂环境中,安全训练的效果具有显著的持久性,即便后续进行了有用性训练,大部分安全能力依然得以保留。
01Agent场景下的安全新定义
与传统聊天机器人关注“是否拒绝有害请求”的对话安全不同,智能体的安全定义更多体现在行为层面。由于Agent具备调用工具和执行操作的能力,其安全风险集中在误删文件、错误的医疗决策以及不当的应急响应等实际物理或数字世界的后果上。这种从“对话拒绝”到“行为安全”的视角转变,重新界定了大模型在后训练阶段需要重点解决的问题。
02实验设计与评测框架
为验证多步环境下的训练动态,研究团队构建了ToolEmu多步任务评测框架。该基准包含144个多步工具调用任务,采用“代理模型—环境模拟器—评估模型”的闭环流程,能够对Agent的行为进行安全性与有用性的双重评分。在实验设计上,研究采用了直接偏好优化(DPO)技术,对比了仅安全训练、仅有用性训练以及两者顺序训练三种不同策略的效果。
03关键发现:安全持久性与Pareto前沿
实验结果揭示了两项核心发现。首先,安全训练表现出极强的“持久性”。当模型先进行安全训练再进行有用性训练时,约90%至94%的安全提升能够被保留下来,并未像传统观点认为的那样大幅衰减。其次,安全与有用性之间存在清晰的Pareto前沿关系。不同训练策略最终都会落在同一条安全—有用性权衡曲线上,两者呈现显著的线性关系(R²≈0.77)。这意味着在Agent场景下,开发者不需要在安全性和有用性之间进行非此即彼的牺牲,而是可以通过优化策略逼近最佳平衡点。
04开源模型现状与行业启示
在对现有生态的评估中,研究还发现多数开源模型在Agent场景下的安全性普遍较弱。这些模型存在明显的“行动偏置”,倾向于在未充分收集信息的情况下立即执行操作,而非先验证指令的安全性。这一发现提示行业,随着大模型从聊天助手向执行Agent演进,安全评测标准和训练范式都需要进行相应的升级。
当前文章无评论,是时候发表评论了