随着AI Agent能力增强,安全风险也从对话转向执行。上海AI Lab提出的AgentDoG框架,通过轨迹级判定和三维风险分类,首次系统性解决了Agent的安全感知与溯因问题,兼顾了安全性与可解释性。
智能速览
构建三维风险分类体系,正交刻画Agent风险来源与危害。
升级为轨迹级安全判定,覆盖完整执行链路。
模型不仅检测风险,更能诊断失败模式与成因。
推出首个细粒度Agent安全基准ATBench。
引入分层归因机制,精准定位危险行为触发点。
精华内容
传统Guardrail难以应对复杂执行链路风险,AgentDoG提供了一套全新的诊断式安全解决方案。
三维风险分类
传统安全标签往往混乱且重叠,缺乏诊断性。AgentDoG提出统一的三维分类法,从Risk Source(风险源)、Failure Mode(失败模式)、Real-world Harm(现实危害)三个正交维度刻画风险。这种方法解决了以往标签无法解释“为什么出问题”的痛点,为后续的模型对齐与修复提供了结构化的基础。
轨迹级判定
Agent的风险往往隐藏在多步执行中,而非仅仅体现在最终回复。AgentDoG将判断对象升级为“完整执行轨迹”,任何中间步骤如思考过程、工具调用或环境反馈出现风险,整条轨迹即被判定为unsafe。这种机制更贴近真实部署场景,能有效防止隐藏在长链路中的安全隐患。
基准与数据
为了评测复杂环境下的安全性,团队构建了ATBench基准。该基准包含500条长轨迹,平均长度近9-11轮,覆盖1575+未见工具,涉及8×14×10的风险组合空间。此外,设计的三阶段合成流程生成了10万级风险轨迹,工具规模比现有基准大40-80倍,为训练提供了海量高质量数据。
归因与诊断
知道“哪里错了”比仅仅知道“错了”更重要。AgentDoG引入了Agentic XAI分层归因机制,能够从驱动危险行为的步骤,追溯到触发错误决策的具体文本。这可以精准定位Prompt Injection、讽刺误判等根因,实现从简单的“检测”到深度“诊断”的跃迁。
AgentDoG为AI Agent的安全性提供了从理论框架到落地工具的完整闭环,不仅提升了检测精度,更让AI的决策过程变得透明可解释。未来,这种诊断式安全机制能否成为Agent部署的标配?