张大妈

上海AI Lab:给 Agent装上可诊断的安全护栏

源自小红薯:每日ComputerScience

02-10 13:13

随着AI Agent能力增强,安全风险也从对话转向执行。上海AI Lab提出的AgentDoG框架,通过轨迹级判定和三维风险分类,首次系统性解决了Agent的安全感知与溯因问题,兼顾了安全性与可解释性。

上海AI Lab:给 Agent装上可诊断的安全护栏智能速览

  • 构建三维风险分类体系,正交刻画Agent风险来源与危害。

  • 升级为轨迹级安全判定,覆盖完整执行链路。

  • 模型不仅检测风险,更能诊断失败模式与成因。

  • 推出首个细粒度Agent安全基准ATBench。

  • 引入分层归因机制,精准定位危险行为触发点。

上海AI Lab:给 Agent装上可诊断的安全护栏精华内容

传统Guardrail难以应对复杂执行链路风险,AgentDoG提供了一套全新的诊断式安全解决方案。

三维风险分类

传统安全标签往往混乱且重叠,缺乏诊断性。AgentDoG提出统一的三维分类法,从Risk Source(风险源)、Failure Mode(失败模式)、Real-world Harm(现实危害)三个正交维度刻画风险。这种方法解决了以往标签无法解释“为什么出问题”的痛点,为后续的模型对齐与修复提供了结构化的基础。

轨迹级判定

Agent的风险往往隐藏在多步执行中,而非仅仅体现在最终回复。AgentDoG将判断对象升级为“完整执行轨迹”,任何中间步骤如思考过程、工具调用或环境反馈出现风险,整条轨迹即被判定为unsafe。这种机制更贴近真实部署场景,能有效防止隐藏在长链路中的安全隐患。

基准与数据

为了评测复杂环境下的安全性,团队构建了ATBench基准。该基准包含500条长轨迹,平均长度近9-11轮,覆盖1575+未见工具,涉及8×14×10的风险组合空间。此外,设计的三阶段合成流程生成了10万级风险轨迹,工具规模比现有基准大40-80倍,为训练提供了海量高质量数据。

归因与诊断

知道“哪里错了”比仅仅知道“错了”更重要。AgentDoG引入了Agentic XAI分层归因机制,能够从驱动危险行为的步骤,追溯到触发错误决策的具体文本。这可以精准定位Prompt Injection、讽刺误判等根因,实现从简单的“检测”到深度“诊断”的跃迁。

AgentDoG为AI Agent的安全性提供了从理论框架到落地工具的完整闭环,不仅提升了检测精度,更让AI的决策过程变得透明可解释。未来,这种诊断式安全机制能否成为Agent部署的标配?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章