随着LLM智能体被部署到复杂的长程任务中，一种新型安全威胁正在浮现。传统的单轮安全评估已不足以防御那些利用多轮交互逐步侵蚀智能体行为的“长程攻击”。AgentLAB基准测试应运而生，它首次系统性地评估和衡量了智能体在面对此类渐进式威胁时的脆弱性，为构建更安全的智能体提供了关键工具。
智能速览
现有LLM安全评估局限于单轮静态场景，无法捕捉真实威胁。
长程攻击利用多轮交互逐步达成意图劫持、工具链组合等恶意目标。
传统防御机制因难以识别每轮的微量恶意信息而失效。
AgentLAB是首个评估LLM智能体长程攻击脆弱性的基准。
该基准涵盖5种攻击类型、28个真实环境和644个测试用例。
精华内容
为何现有防御会失效？长程攻击究竟如何运作？AgentLAB基准又是如何构建的？下面将深入剖析其核心机制与具体攻击类型。
现有评估局限
当前的安全研究，如用户-智能体交互攻击或间接提示注入，主要集中在单轮或静态场景。这种评估方式无法模拟真实世界中攻击者如何利用时间维度，通过一系列看似无害的交互，逐步引导LLM智能体偏离安全轨道，最终实现复杂的恶意目标。
长程攻击威胁
LLM智能体在长程、复杂的环境中执行任务，其工具使用、记忆持久化等能力也暴露了新的攻击面。长程攻击的核心在于渐进式策略，攻击者可以在多个回合中自适应地调整攻击手段，例如进行意图劫持或组合工具链进行攻击，这些在单轮设定中几乎是不可能实现的。
传统防御失效
为单轮交互设计的防御机制，如自我提醒或输入过滤，在面对长程攻击时显得力不从心。因为攻击者可以在每个交互轮次中只注入少量恶意信息，单独看可能完全无害，但累积起来就能有效腐蚀智能体的安全护栏，使防御系统被逐步瓦解。
AgentLAB方案
论文提出的AgentLAB是首个系统性评估此类脆弱性的基准。它具体支持五种新型长程攻击类型：意图劫持、工具链组合、任务注入、目标漂移和记忆投毒。该基准覆盖了28个真实智能体环境和644个精心设计的安全测试用例，旨在全面衡量和提升LLM智能体的长程安全性。
AgentLAB的出现填补了LLM智能体安全评估的一大空白，将研究者的目光从静态防御引向动态、时序的安全挑战。它不仅是一个评测工具，更是推动智能体走向更安全、更可靠的复杂应用场景的关键一步。未来，如何基于此类基准构建出真正抵御长程攻击的智能体，将是值得持续探索的方向。
