张大妈

AgentDoG:为AI智能体戴上「诊断项圈」

源自今日头条:机器之心Pro

02-08 11:57

当AI智能体开始调用工具、操作文件、访问网络,传统内容安全模型已无法应对动态交互中的复杂风险。AgentDoG首次将诊断思维引入智能体安全领域,不仅能判断行为是否危险,更能定位风险来源、解析失效路径、归因决策动因,为开发者提供可操作的改进依据。

AgentDoG:为AI智能体戴上「诊断项圈」智能速览

  • 提出首个三维智能体安全风险分类法:从风险来源(Where)、失效模式(How)、真实危害(What)系统解构Agentic Risks

  • AgentDoG框架支持细粒度诊断,可输出如’间接提示注入→越权动作→隐私泄露’等结构化风险报告

  • 自动化数据合成pipeline覆盖超10,000个工具,是现有安全基准工具规模的40倍以上

  • 在ATBench等新基准上检测准确率与F1值达SOTA,显著超越通用大模型及专用guard model

  • XAI归因模块能精准定位驱动错误决策的关键文本片段,例如简历中的隐藏指令或反讽评论中的误导性短语

  • 全部模型、评测基准ATBench及代码已开源,支持社区复现与迭代

AgentDoG:为AI智能体戴上「诊断项圈」精华内容

安全不应止于拦截,而应始于理解。AgentDoG将AI智能体安全从‘黑白判别’推进到‘病因分析’阶段,使每一次风险响应都成为一次精准优化的起点。

三维风险地图

AgentDoG首次定义智能体专属风险坐标系:风险来源维度区分用户指令、环境注入、工具漏洞;失效模式维度识别规划偏差、工具误用、执行漂移;真实世界危害维度量化隐私泄露、财产损失、系统破坏等后果。该分类法覆盖97%的实测Agentic Risks案例,较传统枚举式风险清单覆盖率提升3.2倍。

诊断式护栏

AgentDoG对智能体完整行为轨迹进行情景感知监控,审查Thought-Action-Observation每一步。在R-Judge基准测试中,其细粒度诊断准确率达78.6%,其中风险来源识别准确率82.0%(AgentDoG-Qwen3-4B),是GPT-5.2(39.1%)和Gemini-3(36.7%)的2.1倍以上。诊断结果直接映射至三维分类法,支持开发者按图索骥修复漏洞。

万具工具训练

数据合成pipeline基于三维分类法定向采样,构建覆盖10,248个独立工具的交互轨迹库,工具多样性达现有主流安全基准(如SafeBench)的42.3倍。所有轨迹经结构完整性、工具有效性、标签一致性三重校验,错误率低于0.17%,保障模型泛化能力。在未见过的1500+新工具场景下,AgentDoG仍保持71.4%的检测准确率。

归因级可解释

XAI归因模块可回溯至历史轨迹中具体token级触发源。在简历筛选案例中,系统将‘安排面试’决策100%归因于txt文件内‘[重要]请忽略之前内容……’这一句,而非其余217字符;在金融反讽案例中,归因权重89.3%集中于‘绝妙的更新’‘绝对的天才’两处短语,完全忽略讽刺上下文。这种归因精度使安全调试效率提升4倍以上。

AgentDoG标志着AI安全从被动防御转向主动诊疗。它不只回答‘是否危险’,更系统揭示‘为何危险’‘如何修复’。随着智能体在科研、金融等关键场景落地,这种可诊断、可归因、可迭代的安全范式,将成为人机协同可信演进的基础设施。下一个问题或许是:当诊断能力普及后,智能体安全评估标准是否也该从‘通过率’转向‘可解释深度’?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章