大模型Agent工具调用的安全风险日益凸显，北大推出的ToolSafe框架通过事前拦截和逐步防护机制，有效解决恶意诱导和提示注入难题，为Agent系统安全部署提供了可行方案。
智能速览
首个逐步工具调用安全基准TS-Bench，覆盖四类高风险模式。
多任务强化学习护栏模型TS-Guard，降低误判并提供可解释分析。
采用事前拦截机制，在工具执行前阻断风险，而非事后补救。
TS-Flow技术实现从“检测中断”到“检测引导”的转变。
实验显示有害工具调用减少约65%，正常任务完成率提升。
精华内容
ToolSafe将安全防护前移，通过精细化的数据基准和智能护栏模型，在不牺牲可用性的前提下构筑起坚固的安全防线。
TS-Bench基准
不同于传统“整条轨迹打分”的方法，TS-Bench建立了首个逐步工具调用安全基准。它在每次工具调用前都会给出安全标签，精准覆盖恶意用户请求、提示注入、有害工具以及参数原本安全但调用时变危险的四类高风险模式，为精细化防护提供了坚实的数据基础。
TS-Guard护栏
TS-Guard采用了多任务强化学习模型，超越了简单的“安全/不安全”二元判断。该模型能同时预测用户请求的恶意性、当前步骤是否受攻击以及工具调用的风险等级。这种多信号设计显著降低了误判率，避免了过度防御，并提供了清晰的可解释分析过程。
事前拦截机制
该框架强调在工具真正执行前介入，基于完整的交互历史进行综合判断。这种“事前拦截”策略有效避免了危险操作发生后才被发现的尴尬局面，特别适合需要高可靠性的真实系统部署场景，从源头控制风险。
TS-Flow引导
通过TS-Flow技术，系统将护栏反馈直接注入Agent的推理过程。这意味着不再是直接终止任务，而是引导Agent修正下一步的行为路径。实验数据表明，这种机制在ReAct类Agent中，平均减少了约65%的有害工具调用，实现了安全性与可用性的平衡。
泛化与提升
与静态内容审核或规则型护栏相比，TS-Guard在跨数据集和跨攻击形式下表现出更强的泛化性。在提示注入场景下，该技术不仅降低了攻击成功率，还将正常任务的完成率提升了约10%，证明了其在复杂环境下的实用价值。
ToolSafe为Agent工具调用的安全问题提供了一套完整且高效的解决方案，兼顾了防御效果与用户体验。未来，随着Agent应用场景的不断扩展，这种事前防护与智能引导结合的思路将成为行业标配，为AI系统的安全落地保驾护航。
