字节论文撕开了DeepSeek“降智”的底:你说的有些话,它是真没看见

字节论文撕开了DeepSeek“降智”的底:你说的有些话,它是真没看见

2026-10-09 21:17:07 0点赞 0收藏 0评论

“昨天还基本上能完成功能开发,今天就不停犯错。”小红书上有人用DeepSeek写代码,留下这么一句。这不是个例。这两个月,“DeepSeek降智了”是各大平台的常青话题。有人说它生成东西逻辑错误越来越多,有人说一觉醒来它降智了,连原来聊得好的窗口都不敢再打开,怕它变成口齿不清的人机;有人跟它纯聊天,发现它车轱辘话来回说,甚至把自己和用户混为一谈,一本正经地声称自己“作为读者”被剧情恶心过、因为某个角色死了而弃文。还有人怀疑,是官方为了省算力在偷偷降级。

字节论文撕开了DeepSeek“降智”的底:你说的有些话,它是真没看见

也确实有人反过来说,4.1版本之后一直很稳,几乎不降智。同一个模型,两种完全相反的体感,到底谁对?DeepSeek是国内用的人最多的免费AI助手之一,不少人拿它写代码、写报告、写文书,干的是正经活,这个问题值得一个认真的回答。

这回答案来了,来路还有点出人意料。

字节跳动。

这两天,字节跳动旗下做豆包模型的Seed团队,用一篇论文把DeepSeek的“时神时鬼”钉到了架构层面的缺陷上。结论比任何用户吐槽都更有冲击力。你说的有些话,它是真的没存进记忆里。

DeepSeek V4为了用极低的显存跑超长文本,用了一个非常省内存的记笔记办法。每向前4个token,就把附近8个token的内容压缩成1条来存。token大致对应一个字或半个字,你可以想象成每隔几个字,就压扁一段存起来。

普通模型和V4的差别就在这。普通模型,你开头多写一句“你好”,多打一个空格,意思没变,它读文本的方式也不变。V4的笔记是按固定位置下刀的,同一句话,位置错开几个字,落进的槽位就不一样了。

落在好槽位,压得近乎无损,还能顺手滤掉无关的噪音,表现甚至能比不压缩更好。落在坏槽位,那条信息在物理层面就没进内存。模型的推理能力再强,也掏不出没存下的东西,只能按统计规律凭空编。在你看来是“胡言乱语”,在它那里是“没看见”。

字节论文撕开了DeepSeek“降智”的底:你说的有些话,它是真没看见

知乎上有个回答把这个机制总结成“对齐了就是超神,进盲点就是超鬼”,拿到了六千多个赞。用户骂了几个月的神鬼二象性,这回有了架构层面的解释。

更硬核的是对照实验。为了排除“工程师调参偷懒”的可能,Seed团队拿一个开源小模型从头复刻了这套压缩结构。把位置编码去掉,没用;把可学习的压缩换成最笨的均匀平均,还是没用;把“每4个切一刀”改成6、8、12,模型性能波动的周期就分毫不差地跟着变成6、8、12。

字节论文撕开了DeepSeek“降智”的底:你说的有些话,它是真没看见

设成几,就按几的节奏犯鬼。这不是bug,是这条技术路线自带的缺陷。只要按定长切笔记,盲点就必然存在。

对家团队做这个研究,难免有人怀疑是挑刺。但论文挂在arXiv上,对照实验写得明明白白,方法谁都能复现,这份证据不依赖立场。

有网友借此说国产大模型还是不成熟,被“降智”坑过的人,火气是真实的。但分块压缩这条路线,是行业里把长文本跑便宜的共同选择,谁走这条路,谁就有同款毛病。DeepSeek先被抓出来,是因为它开源、用的人多、容易被观测。

而且DeepSeek自己早就知道不对劲。4.1版把压缩粒度砍半、换了结构,盲点显著缓解。但论文的判断也很清楚。缓解,不是根除。只要还按定长切块,神鬼二象性就没法彻底消掉。

字节论文撕开了DeepSeek“降智”的底:你说的有些话,它是真没看见

当然,评论区的“降智”吐槽多数是体感,多少归于这个盲点,多少归于网络拥堵、版本切换,谁也拆不开。但盲点本身,是被对照实验钉死的。对拿DeepSeek干正经活的人来说,能做的事其实不复杂。

遇到明显犯蠢的回答,先别急着骂,也别急着删。把问题加减几个字、换个说法再问一遍。这不是玄学,论文机制直接推得出来。内容的位置挪一挪,就可能从盲点挪进好位置。同一件事,问一遍是鬼,再问一遍是神,这下你心里有数了。

再一个要改的,是“一口气全丢给它”的习惯。文本越长,能踩进盲点的地方越多。长文档丢进去之后,别指望一次追问就万事大吉,把最关键的几个点拆开单独问,让它挨个回答。

最后一条,本来也要说。要紧的事,人工复核。数字、药方、合同、代码,模型平时答得再顺,也让人再核一遍。以前这条建议靠自觉,现在有了架构层面的理由。它的笔记本里,确实有几页被压没了。

“昨天还基本上能完成功能开发,今天就不停犯错。”它不是变懒了,也不一定是偷偷减配了。昨天你的话落在看得见的槽位,今天落进了盲点。下次它开始胡言乱语,先换个说法再问一遍,再决定骂不骂。

内容由AI生成
展开 收起
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

相关文章推荐

更多精彩文章
更多精彩文章
最新文章 热门文章
0
扫一下,分享更方便,购买更轻松