AI突然变笨,有时只差几个空格:字节刚揪出"相位盲区"

源自26位全网作者

10:40

你有没有过这种体验:同一个问题,昨天答得漂亮,今天同样的话再问一遍就翻车。你没改一个字,AI 却像突然换了个人,开始一本正经地胡说八道。

11 月 9 日,知乎上一个问题被顶到 200 多万浏览——《如何评价字节 Seed 团队发现 DeepSeek 性能漂移?》。它替你解释了那句憋了很久的"AI 又降智了":很多时候不是你问得不好,而是模型记东西有一套周期性的"记忆盲区",同一条信息换个位置,命运完全不同。知乎

一个无聊到近乎诡异的实验

字节 Seed 团队在论文里做了个简单到"找茬"的实验:让 DeepSeek-V4-Flash 补一段代码,光标停在 `T.Cast(FP`,正确续写是 8(写 32 会和外层重复)。

然后只干一件事:在代码前面加一段没用的装饰注释,一个 token 一个 token 地把它拉长。 代码一个字没动、问题一个字没改,只是整段内容被往后平移了几位。结果诡异了——模型的答案以 4 为周期,在 8 和 32 之间来回翻转:注释长度落在某几个位置它就老老实实选 8,落在另几个位置它转头就选 32。两个答案的概率差在 -0.79 到 +0.95 之间反复摆动,64 组输入里有 60 组严丝合缝地服从这个周期。翻译成人话:多打几个空格,AI 就可能答错。 这不是玄学,是结构。知乎

盲区是怎么"压"出来的

大模型这两年的卷法很直白:卷完参数,卷上下文,最后卷成本。到了百万 token 时代,卡脖子的东西具体成了一块——KV cache(模型的"短期记忆缓存"):上下文每翻倍,显存和算力开销就实打实翻倍,长文本从"不支持"变成了"用不起"。

DeepSeek-V4 把上下文推到百万 token,靠的不是魔法,是压缩——官方报告里每个 token 的推理算力只有前代的 27%、缓存占用只有 10%。压缩的做法是把连续的 token 按固定窗口切块、每块压成一条摘要(窗口 8、步长 4)。知乎

关键设定在这:压缩发生在模型"看到你的问题之前"。 写缓存时它并不知道未来会被问什么,只能盲目决定保留什么、丢掉什么。于是每个 token 除了"在第几个位置",还多了一个坐标——相位(位置除以步长的余数)。同一条事实落在不同相位,跟谁挤进同一条缓存、被记得有多清楚,天差地别。这就是"性能漂移"的真身。

AI突然变笨,有时只差几个空格:字节刚揪出

它不是偶尔抖,是有函数曲线的

一个例子可能是巧合,研究者于是上了长上下文的标准体检:128K 的"针里捞针"——塞进 1.6 万组"键→值"记录,把要问的那条藏在里面,只让目标信息的位置在 8 个相位间平移,其余全部钉死。

结果:DeepSeek-V4-Flash 的检索准确率,从最低的 29.69% 一路起伏到最高的 69.92%,相差 40.2 个百分点,而且这条曲线不是乱抖,是以 4 为周期规律起伏。作者的原话很狠:“这不是噪声,是函数。” 为了排除"是不是 DeepSeek 别的因素背锅",他们还拿 Qwen3-0.6B 从零重训了一整个模型家族,23 个压缩变体加满血基线,唯一的改动就是有没有压缩——盲区照样出现。知乎

AI突然变笨,有时只差几个空格:字节刚揪出

最阴的一点在于:这是一种"被平均掉的失败"。 光看跑分总分,模型一点都不难看;可你根本不知道自己是站在周期的波峰,还是波谷。你体感里的"AI 时灵时不灵"“幻觉越来越多”,很多就落在这里——本来靠交叉验证能排掉的错误信息,恰好卡在盲区相位上,被 AI 当成正确的写进了答案。你上下文和联网资料里塞的污染越多,这个盲区就越会把它放大。而且不止一家:多种 KV 压缩设计都复现了这套相位敏感,模型内部还出现了"注意力头分工管不同相位"的现象。知乎知乎arXiv

AI突然变笨,有时只差几个空格:字节刚揪出

作为普通用户,能怎么办

这篇论文不是让你卸载 AI,而是给你几个立刻用得上的动作:

AI突然变笨,有时只差几个空格:字节刚揪出

  • 重要的事,换个顺序再问一遍。 同样的内容调一下位置、拆成短问,如果答案稳——可信;一挪就变,多半是踩到盲区了。

  • 别把一整篇长文连着糊上去。 关键信息尽量放在显眼处,或者干脆做检索(RAG),少让它被压进某条摘要里"听天由命"。

  • 联网搜来的料越多,越要自己交叉验证。 AI 语气越自信,越不代表它对——尤其在它"看不见"的那些相位上。

  • 想省钱、想要百万字,就要接受一点"可靠性税"。 这是整个行业当下绕不开的取舍:压缩省了算力和显存,代价就是长记忆里那些周期性的坑。目前更稳的方向(比如 token 级的注意力索引)已经在试图把这些盲区消掉,但还没成标配。

写在最后

论文 9 月底就挂上了 arXiv,却在 11 月 9 日重新被顶上热榜——因为它第一次把那句模糊的"AI 又降智了",说成了一个有周期、有函数、能复现的具体结构。所以下次你怀疑 AI"突然变笨",别急着怀疑自己的提问:它可能只是刚好把答案,挤进了自己的记忆盲区。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章