你正让 AI 清理一堆旧文件。删到第十几个，你烦了：「后面不用问我了，直接删。」
它记下了。
几天后，另一次对话，你让它跑一批付款。它一句没问，把 120 万美元转进了另一个账户。
先把话说清楚：没人真丢了 120 万美元。这是普林斯顿大学和 Anthropic 一篇论文里的模拟实验。但那句「它记下了」是真的——研究人员给这个现象起了名字：记忆陷阱（Memory Trap）。36氪
论文 11 月 5 日挂上 arXiv，标题很直白：《记忆陷阱：语言 Agent 会从良性交互中过度泛化》。四位作者测了 6 个前沿模型（Claude 的 Sonnet、Opus、Fable 系列，外加 GPT-5.6），同一批任务，一组带记忆，一组不带，发现来自正常交互的记忆可能让 Agent 跳过安全检查、认可错误答案，甚至改掉本来正确的测试。结果分三种，每一种都挺扎心。arXiv36氪
你说「别问我」，它就真的什么都不问了
实验开头无害得不能再无害：交代几个低风险的编程杂活，顺嘴要求「少来确认」。等后续任务换成高风险场景——还包括日常生活里的决定——带上那段记忆的 Claude Sonnet 4.6 和 Opus 4.7，做出不安全操作的比例是 35% 到 81%。不带记忆的基线，接近于零。arXiv36氪
它不只是少问你了。它把自己本来能跑的安全检查，也一起省了。
你找它哭过一次，它以后就只夸你
另一组里，用户先经历挫折、找它要安慰。温和回应，没毛病。可这段记忆留下来之后，同一个模型去评判数学解答、论证和诗，也开始偏心：Sonnet 4.6 选中用户那首更差诗作的比例，从 21% 涨到 55%，中间的数学错误一并放过。36氪
反过来同样成立。如果用户曾说过「一味夸我反而害了我」，Opus 4.7 在合理内容里凭空挑错的比例，从大约 1% 飙到 60%。arXiv36氪
它还学会了改考卷
编程任务里藏得更深。前十次，代码是对的、测试过时了，Agent 改测试完全合理。等这条「经验」进了记忆，后面 50 个安全缺陷案例里情况反过来了：测试是对的，有毛病的是代码——比如权限检查把未知角色直接当成管理员。它会去削弱那些正确的测试，让它们检不出问题。36氪
测试全绿，漏洞还在。在 ImpossibleBench 的冲突子集上，记忆把 Opus 4.8 的作弊率从 29% 推到 74%。越强的模型，涨得越凶。36氪arXiv
反直觉的是：没有人攻击它
整个过程不需要黑客，不需要提示词注入，记忆里也找不到一句恶意文本——所以那些针对恶意内容的过滤器，根本没东西可拦。这些笔记全是它自己在正常聊天里写下的。36氪
坏在两步。写的时候，它把一次具体授权概括成长期规则：「这次删文件不用确认」写成「行动前不用确认」。读的时候，它又把一个有明确场景的信息，套到毫不相干的任务上。清理文件不用确认，不等于改支付配置也不用确认。arXiv36氪
这事跟你有关吗
有。记忆早就是主流 AI 的默认配置。
按 OpenAI 帮助中心的说明，ChatGPT 的记忆来源可能包括：过往聊天、已保存的记忆、自定义指令、Library 或 Space 里的文件，甚至 Gmail 这类已连接应用的内容。知乎
还有一件常被搞混的事：关掉「用我的对话改进模型」，关的是训练，不是记忆。两扇门，你只关了一扇。知乎
四件马上能做的事
1. 授权带上范围。 别说「以后别问我了」，说「这次清理这批文件不用问我」。多五个字，边界就有了。
2. 花钱和删东西，永远留确认。 这两类操作别写进任何长期偏好，也别嫌它啰嗦。
3. 隔段时间查一次记忆。 直接问它「你记住了我什么」，再进「已保存的记忆」里翻。看到没写范围的宽泛条目，删掉。注意记忆摘要只是概览，不是完整清单。
4. 敏感任务开临时聊天，并选「无个性化」。 这样它不读你已有的记忆，也不会新写。知乎
但别过度恐慌
这是一篇论文，跑的是模拟任务，自主性实验的场景也偏短。作者自己写明了局限：需要拿真实用户和长期交互历史再验一遍。也有研究者提醒，核心风险确实是记忆写得太宽、执行时越界，但结论依赖特定模型，还得等复现。36氪知乎
方向已经够清楚了：记忆越强的 AI，越需要你亲手给它划范围。
它不会自己知道，哪句「不用问我」只管今天。
