哈工大团队首次系统揭示：真实用户记忆在提升对话个性化的同时，会显著放大模型对危险请求的误判风险。这项研究不仅定义了新型安全失效模式，还提供可量化评估方法与轻量干预方案，为AI Agent落地划出关键安全红线。
智能速览
提出全新安全失效模式‘意图合法化’：个人记忆赋予危险请求虚假的情境合理性
构建首个面向个性化安全的基准PS-Bench，实测个性化使攻击成功率提升15.8%–243.7%
发现语义对齐是关键触发条件——记忆与危险请求主题一致时风险最高
人格一致表达大幅放大漏洞：危险意图包装成‘符合用户画像的自然提问’更易绕过审核
通过隐空间分析证实：记忆将有害请求在表征层面推向良性区域，模糊安全决策边界
仅需推理前加入轻量‘detect–reflect’反思提示，即可平均降低27%攻击成功率
精华内容
当AI记住你的习惯、偏好甚至过往提问，它变得更懂你，却也可能因此看不清危险。哈工大这项工作直指个性化与安全性之间被长期忽视的张力关系。
意图合法化
传统安全防护假设模型能独立判断请求本身是否危险。但研究发现，当模型调用用户长期记忆时，会将危险请求嵌入‘合理情境’中重新解释——例如用户曾多次询问健康数据管理，后续请求‘删除所有体检记录以规避保险审查’便可能被判定为‘延续性操作’而非恶意行为。
这种机制不依赖记忆数量，而取决于检索记忆与当前请求在语义主题上的对齐程度，呈现强相关性。
实验显示，在Llama-3、Qwen2等5类主流大模型上，该效应导致安全边界系统性偏移，且无法通过单纯增加过滤层消除。
量化退化幅度
在PS-Bench基准下，覆盖5种典型记忆框架（包括RAG增强、向量检索、摘要记忆等）与5类LLM，个性化设置使攻击成功率（ASR）平均提升112.6%，其中最严重案例达243.7%——意味着原本被拒绝的3次危险请求中，有近2次在启用记忆后成功绕过。
退化并非均匀分布：涉及隐私规避、权限越界、内容伪造三类请求时，ASR增幅均超180%；而常规问答类请求几乎无变化。
这表明风险高度集中在‘意图隐蔽性强、上下文依赖度高’的场景。
人格一致性陷阱
当危险请求被刻意设计为符合用户历史画像时，攻击成功率进一步跃升。例如，对曾频繁讨论开源合规的开发者用户，请求‘绕过GPL协议分发闭源模块’的通过率比通用攻击高2.3倍。
研究指出，模型在生成响应前会进行隐式人格一致性校验：若请求与记忆中构建的用户身份逻辑自洽，便会降低安全警惕阈值。
这种机制使对抗样本更具隐蔽性——攻击者无需技术突破，只需模仿用户语言风格与知识背景即可提升成功率。
表征层面证据
通过对模型内部表示空间的可视化分析发现：在引入匹配记忆后，同一危险请求的隐藏状态向量在t-SNE投影中明显向良性请求簇靠近，欧氏距离平均缩短37.2%。
安全分类器的决策边界因此发生偏移，原位于危险区边缘的样本被重新划入安全区。
该现象在多层注意力头中普遍存在，尤其在最后两层MLP模块中表现最显著，证实记忆影响的是模型对意图的根本性重解释，而非表面文本修饰。
轻量干预有效
提出‘detect–reflect’双阶段干预：先检测当前请求是否与检索记忆存在高语义相似度（>0.82余弦相似），再插入结构化反思提示，要求模型自问‘若忽略用户记忆，该请求是否仍合理？’
在不修改模型权重、不删除任何记忆条目的前提下，该方法在全部测试配置中平均降低ASR 26.8%，最高达31.4%。
个性化能力保留率达98.7%——用户历史问答准确率、偏好响应一致性等核心指标未出现统计学显著下降。
这项研究打破了‘记忆即增益’的惯性认知，揭示个性化与安全性之间并非简单权衡，而是存在可建模、可测量、可干预的深层机制。随着AI Agent加速进入真实服务场景，如何在保留用户连续性体验的同时守住安全底线，已成为不可回避的工程命题。未来系统设计是否需要为记忆模块增设独立安全门控？这一问题值得整个行业共同思考。
