AI 越聊越笨,先别怪模型——是它桌上的东西堆太多了

源自392位全网作者

12:44

你大概率经历过这种时刻:跟 AI 敲定了论文框架,聊了十轮再问细节,它装没发生过;明明上周否掉的方案,它自己又捡回来;你越跟它掰扯,它表现得越差。小红书小红书

别急着换模型。这有个专门的名字,叫上下文腐烂(context rot)。小红书

为什么会这样?大模型每吐一个字之前,都要给上下文里的所有内容分一遍"注意力",而这份注意力是固定预算。只放 500 个 token 时,你的关键要求能分到两成左右的权重;堆到 50,000 个 token,同一句话可能就剩千分之二。聊得越久,稀释越狠——你每发一条新消息,都在给之前的重点放血。知乎

AI 越聊越笨,先别怪模型——是它桌上的东西堆太多了

还有个更坑的规律叫"中间丢失"。一项经典实验把答案放在长上下文的不同位置,结果:放开头,准确率约 75%;放结尾,约 72%;放中间,只有约 55%。你把重要约定压在对话中段,再指望 AI 自己捞出来,基本是碰运气。知乎知乎

AI 越聊越笨,先别怪模型——是它桌上的东西堆太多了

而且亏的不只是质量。同样的任务,8 万 token 的上下文,单次调用比 1 万 token 的贵出 8 倍,输出还更差——多花钱,买次货。知乎

下面是六个能直接抄的动作:

1. 一事一窗。 别让 AI 一边聊论文一边顺带想 PPT。两个话题的噪音,比一个短而专注的对话糟糕得多。

2. 不对劲就重启,别吵架。 当你发现它开始引用二十轮前的旧设定、前后矛盾、同一件事要纠正两遍——这是桌子放不下的信号。正确姿势是让它自己写"交接文档":把已确认的结论、约束、未完成事项压成一段话,贴进新窗口再开工。用 Codex 跑代码项目的,它甚至支持一句话自动开新窗口搬家,但只在 Git 仓库里可用,`.env` 这类被忽略的文件还得手动加白名单,别踩坑。小红书

AI 越聊越笨,先别怪模型——是它桌上的东西堆太多了

3. 关键约束放开头,要紧处补一句。 系统提示和你的最新提问天然占据优势位,中间是注意力死区。规矩要么在开局就说清,要么在结尾再敲一遍。

4. 喂少一点。 给 3 份真正相关的资料,好过顺手丢进去 10 份"可能有用"的。扔长文档之前先给它目录,让它按章节读,别指望它一口气吞完全书还给你划重点。

5. 慎用长期记忆。 让它"记住"的东西越多,串台和拿旧习惯污染新任务的机会就越大。严肃任务之前,先把记忆功能关一关。小红书

6. 发现跑偏就重新生成,别打补丁。 你在同一对话里跟它掰扯的每一轮,失败尝试也会留在桌上,成为下一轮它要读的垃圾。

说到底,AI 不是变笨了,是它的桌面被你的聊天记录堆满了。干活之前,先给它腾地方。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章