DeepSeek一会儿神一会儿鬼,字节查出了原因:长文档有些位置是它的盲区

DeepSeek一会儿神一会儿鬼,字节查出了原因:长文档有些位置是它的盲区

2026-10-13 08:40:37 0点赞 0收藏 0评论

正确答案明明是8,DeepSeek偏一次次写成32。

字节Seed的研究员没改任何一行代码,只在前面一段无关的注释里,多加了一排等号,答案就在8和32之间来回翻。多敲几个,错了;删掉几个,又对了。翻转以4个token为周期,规规矩矩地重复。

DeepSeek一会儿神一会儿鬼,字节查出了原因:长文档有些位置是它的盲区

这不是段子。Seed联合普林斯顿、斯坦福和伯克利的研究人员,把DeepSeek V4系列系统测了一遍,写成一篇65页的论文,揪出这个毛病的还是位在字节实习的博士生。消息这两天才传开,挖的却是一个老疑问。DeepSeek怎么一会儿神、一会儿鬼?

常用DeepSeek的人,对这个疑问多少有自己的版本。知乎上「DeepSeek降智了么」的问题反反复复被问,有人晒出让它算四笔钱的合计,它给了个错数,还一副笃定的样子。网友给这种表现起了个说法,叫神鬼二象性。以往的解释是服务器忙,或者纯粹运气差。这回有了个技术答案。可能真不是运气,是位置。

团队做了个大海捞针的实验。把一份能装下一整本小说的超长文档里,塞进1.6万组键值记录,让模型捞出指定的那一条。同样的信息,放的位置不好,DeepSeek V4-Flash的检索准确率只有29.7%;位置好,能到69.9%。位置一换,差出40个百分点。

位置为什么有好坏?这就轮到DeepSeek的省钱绝活出场了。为了让超长文本跑得起、跑得便宜,DeepSeek V4会把读过的内容压缩了再存,像把一本厚书每页的内容压成半页摘要,纸是省了,细节精度有损。而压缩是按小块进行的,块和块之间按固定步长切。同一句话,落在块中间,保留得比较完整;落在两块交界的地方,就可能被砍掉一大截。有些位置的信息,压根没有完整写进记忆里,等模型回头去找,那段记忆是真不存在,它只能凭概率瞎凑。用户看到的就是突然抽风。

DeepSeek一会儿神一会儿鬼,字节查出了原因:长文档有些位置是它的盲区

更让人意外的是,这个问题以前为什么没被任何榜单测出来。

榜单看平均分。大海捞针测试里,目标信息随机撒在全文各处,好位置的满分和坏位置的零分正好互相抵消,平均分就好看了。Seed的对照实验里,两个模型平均分只差1.7个百分点,几乎打平;可按位置拆开,最差的位置上,一个还有58.4%,另一个只剩9.9%。

平均分及格,不等于每个位置都靠谱。这句话不只对DeepSeek成立,对一切跑过榜单的AI都成立。

DeepSeek一会儿神一会儿鬼,字节查出了原因:长文档有些位置是它的盲区

那DeepSeek现在还能不能用?先别慌。

这个坑,DeepSeek自己早就看见了。9月10日发布的V4.1把压缩步长砍掉一半,配合其他结构改动,40个百分点的落差收窄到了6.1个点。有媒体拿Seed的原始代码复测,现役的V4.1-Flash,64次测试全部答对,当年8变32的翻转复现不出来了。当时翻车的那个模型,是个更老的基座版本,现在官方API里已经调不到。

但收窄不等于抹平。论文数据里,V4.1在好位置的准确率约95%,坏位置也有89%到90%。差距不大了,周期还在。只要还按固定步长做压缩,这个软肋就消不干净。

DeepSeek一会儿神一会儿鬼,字节查出了原因:长文档有些位置是它的盲区

这里得替DeepSeek说句公道话。它敢把压缩做得这么狠,为的就是把超长文本的成本打下来,标称V4.1处理长文本的显存占用降到了上一代的四分之一。价格便宜和长文本稳,眼下还是一头翘另一头就得压的跷跷板,DeepSeek选了前者,再一点点补后者。这套打法的另一面也摆在那儿,正因为全身摊开给人看,字节才能拿手术刀把它解剖到注意力头这一层。

那这事对你我这种日常用它的人,有什么用?

让AI读长合同、长文档,别一口气全塞进去,拆成几段喂,最关键的条款在提问里再重复一遍。让它回答时引用原文,引不出来的,说明它没读到,那段就得人自己看。数字、日期、金额,不管AI说得多顺,回到原件上自己核一遍。涉及看病、签合同、买理财这种事,核的对象是病历原件、合同原文,拿不准就问真正的医生和律师。

顺带纠正一个误区。别把AI所有的犯傻都赖到这个盲区上,论文解释的只是一类现象,很多翻车另有原因。但它至少说明,AI犯错不全是随机的,有些坑就挖在固定的位置上。

回到那道8和32的题。现在的DeepSeek,64次都稳稳答8。可复测的数据里,它对正确答案的把握程度,仍会随着前面无关填充的长短悄悄变化,原因暂时说不清。

表面上,它全答对了。水面下,波纹还在。

下次你让AI读一份长文档、核一个关键数字,你会知道哪里值得多看一眼。

内容由AI生成
展开 收起
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

相关文章推荐

更多精彩文章
更多精彩文章
京东京享红包
距结束::
领京东现金红包 天天领3次 最高26888元
红包按钮
最新文章 热门文章
0
扫一下,分享更方便,购买更轻松