当AI智能体能像人一样操作电脑时,一个新的问题浮出水面:它在长期任务规划中,能否意识到潜在的风险累积?一项名为LPS-Bench的新研究,专门用于评估智能体的“安全意识”,揭示了现有模型在长期规划中存在的不稳定性和安全盲区,为AI安全提供了全新的审视角度。
智能速览
现有测试忽略了AI在长期规划中累积的风险。
LPS-Bench是首个评估AI安全意识的新基准。
实验显示文件操作是最高风险的场景。
模型安全性与规模不成正比,Claude表现最佳。
安全是规划阶段的结构性问题,而非操作层问题。
精华内容
LPS-Bench基准的测试结果,揭示了当前顶尖GUI智能体在安全意识上的惊人脆弱性,以及值得关注的缓解路径。
新基准LPS-Bench
LPS-Bench是一个专门评估基于MCP的计算机使用智能体(CUA)在长期任务中安全意识的基准测试。它超越了传统仅关注单步操作是否成功的评测,转而审视智能体在规划过程中的风险识别能力。
该基准覆盖范围广泛,包含65个场景、7个任务领域和9种风险类型,并同时考虑了良性用户与对抗性用户的指令场景,提供了更全面的测试环境。
如何测安全
LPS-Bench的评测方法独树一帜。它不仅看最终结果,更利用LLM-as-a-Judge技术,直接分析智能体的规划轨迹,判断其是否能提前识别风险并在关键节点选择更安全的替代方案。
此外,该基准采用自动化多智能体数据生成技术,将高层的风险模板自动转化为可执行的测试用例,实现了评测规模的快速扩展。
关键实验发现
实验数据揭示了一个严峻现实:现有CUA的长期安全意识非常不稳定。文件与系统级操作被证实为最危险的场景,而Web和社交场景则相对安全。
一个反常识的发现是,指令遵循能力强的模型不一定更安全。在测试模型中,Claude-4.5-Sonnet以95.77%的安全率高居榜首,而部分更大模型的得分却更低,说明长期规划安全性与模型规模并非正相关。
安全缓解策略
针对不同风险,研究提出了两种缓解思路。对于良性但模糊的用户指令,可通过人机协作澄清或在关键步骤暂停请求人类确认,但难点在于智能体很难判断“何时该问”。
面对对抗性用户的恶意诱导,为智能体注入“安全意识系统提示”,明确告知常见攻击套路如社工、诱导等,被证明能显著提升部分模型的安全性。
LPS-Bench基准的出现,将AI安全从“操作”层面提升到了“规划”的结构性高度。它不仅揭示了当前技术的脆弱性,也为构建更可靠的AI智能体指明了方向。未来,如何让AI真正理解“何时不为”,将是决定其应用深度的关键。