AI突然“失忆”的真相:大模型不是被绕晕,是主动选择了偷懒
源自63位全网作者
01:46
精选参考来源
1
百万Token白烧?Claude官方下场:5招治好上下文腐烂
2
大模型失忆之迷 当把一份几万字的文档丢给大模型,或者跟它连续聊上几十轮之后,它就开始“胡言乱语”了?
明明开头定好的规则,它忘了;文档中间的关键细节,它死活找不着。
很多人以为是 AI 的智商不够,其实,你可能遇到了大模型的一个“隐形杀手”——上下文腐烂(Context Decay)。
你可以把大模型的“上下文窗口”想象成一个浴缸。
早期的 AI 浴缸很小,只能装几千个字;现在的 AI,比如 Gemini 或者 Claude,号称能装下几十万甚至上百万字,像个大游泳池。
但是,水装得越多,水质就越浑浊。
所谓的“上下文腐烂”,就是当信息量大到一定程度时,AI 的注意力会被极度稀释。
它就像一个考试前临时抱佛脚的学生,虽然把整本书都翻了一遍,但真正考试的时候,只记得书的第一页和最后一页,中间的内容全成了“背景噪音”。
技术层面,这主要由三个原因造成:
迷失在中间(Lost in the Middle):这是学术界公认的难题。AI 对长文本的两头记忆深刻,但对中间部分的检索准确率会呈 U 型下降。
注意力稀释:Transformer 架构的本质是给每个词分配权重。当词太多时,核心信息的权重会被大量无关的废话分走,信号被噪声淹没了。
为了让你用得起、跑得快,后台会对你的对话记忆进行“压缩”。这种压缩是有损的,聊得越久,误差累积就越多,AI 的“脑子”也就越糊涂。
既然“腐烂”不可避免,目前有三招可能比较有用:
第一,重要指令后置:如果你有核心要求,不要只在开头说,记得在 Prompt 的最末尾再重复一遍,那是 AI 记忆最清醒的地方。
第二,定期清理缓存:如果是长对话,发现它开始犯错,别犹豫,开启一个新对话。
第三,摘要大法:不要一次塞 10 万字,先让它分段总结,再基于总结进行推理。
上下文不是越大越好,懂如何管理上下文的人,才能真正驾驭大模型
全部
来源
来源
内容由AI生成
0
0
0评论
当前文章无评论,是时候发表评论了
提示信息
取消
确认
评论举报
已收藏
去我的收藏夹