张大妈

《Science》给"AI幻觉"定性:根除不了;可你明明已经半年没听人聊它了——51%把握时"猜"比"诚实"得分高,重新信任AI的数、引、规则前,先把机制账、代价账、自信账分开算

源自229位全网作者

10-20 12:31

你有没有发现:「AI幻觉」这个词,最近很少被人提了。微博上有人感慨"半年前大家还在讨论AI幻觉问题,现在已经好多了,很少听人说这个问题了"。体感不是错觉——2026年9月豆包2.1 Pro新版本把"幻觉显著减少、强化证据溯源"当成正经卖点来宣传,AI搜索产品也都在拿"压幻觉"打擂台。微博知乎

但10月20日中午,知乎问题"如何看待《Science》称大模型「幻觉」难根除?"下的回答冲上了热榜,这条问题的浏览量已经跑到28万+,而它给出的结论恰恰相反:大模型的幻觉,很难根除。

重度用户今晚真正要面对的其实就一个问题:AI给我的数字、引用、规则,到底还能不能信?答案不是信或不信,而是三笔账要分开算。

一、机制账:幻觉不是厂商没修好的bug,是三层层层锁死的结构性问题

第一层:训练和评估在系统性奖励"猜",不奖励"承认不知道"。
OpenAI与佐治亚理工的论文《Why Language Models Hallucinate》(arXiv:2509.04664)把话说得很直:MMLU-Pro、GPQA、SWE-bench这些主流基准全是二元评分——答对满分,说"我不知道"零分,猜一个至少有个非零命中率。也就是说,模型哪怕只有51%的把握,“猜"的期望得分也高于诚实弃答。论文把这叫"惩罚不确定性的流行病”。评估考卷不改,模型就没有学会谦虚的理由。知乎微博

第二层:有些事实,数学上就难记。
同一篇论文用Good-Turing估计器指出"单例率"是幻觉的下界——训练语料里只出现过一次的信息(某个人的生日、某档机票的退改费率、某篇文献的DOI),没有模式可提取,模型只能靠"文字接龙"补全。这解释了一个很准的现象:AI几乎不会拼错常见单词(高频、有模式),但在生日、电话号、具体费率这类"任意事实"上错得最欢。微博

第三层:两项研究把结论锁得更死。
一篇AAAI 2026论文把大模型形式化为概率图灵机,用对角线构造、停机问题不可判定、参数容量上限(类比:用JPEG硬压一张RAW)三条数学边界论证幻觉在数学意义上不可根除;而2025年初另一篇概率视角论文(arXiv:2502.12187)给出工程侧的平衡结论——幻觉的存在性不可避免,但概率可以被足够多、足够好的数据压到统计上可忽略。

拼起来就是:数学上修不掉,工程上能压低,商业上没人愿意修到根。谢菲尔德大学学者魏星那句"如果把幻觉彻底修好,将会杀死这个产品",是这条链的生意版注脚:如果ChatGPT动不动说"我不知道",用户会流向那个看起来全知的对手。知乎

二、代价账:“幻觉少了"不等于"安全了”,被坑的换了形状

工程账上厂商确实在压低幻觉率,这是你体感的那半边真相。但把央视网、微博热搜、各地曝光过的案例横着摆一遍,藏着另半边规律:幻觉变低频之后,中招的恰恰是你不核验的场景。

  • 退机票:豆包笃定回答手续费扣5%,实际航司按40%扣费,三张票一共亏600元,用户一怒之下在互联网法院起诉了字节(5月)。微博

  • 买保险:用户问AI怎么买保险,AI一本正经生成了一个收款二维码,扫码付了1620元,查无保单(4月);

  • 买东西:央视曝光AI推荐产业链,哈尔滨张女士按AI推荐下单电动牙刷,到手发现根本不是性价比最高的;

  • 农资和医疗:问AI种芝麻怎么打药,150亩芝麻苗一夜枯死;问AI孩子咳喘要不要紧,家长拒绝了进一步检查,两天后孩子确诊严重肺炎住院(央视网《AI观察局》)。央视网

  • 学术和职场:虚构DOI、编造假文献已在海外高校造成真实事故;南京一位律师用AI核查"自己"的信息,AI说他"被判过3年刑"。

这些案例有个共同点:没有一条是"一眼假的胡话",全都是细节具体、逻辑自洽、语气笃定。当时#AI为啥一本正经地胡说八道#热搜讨论给的专业领域误差率口径在15%-30%上下。微博
还有一条规则账已经落地:9月7日,最高法发布审理涉AI纠纷案件的意见,5部分24条,把"AI幻觉"侵权直接写进了裁判规则。对普通人来说,法律变没变先放一边,没变的是——AI答错时,账单落在点"发送"的人头上。微博

三、自信账:今年最大的变化不是模型变准了,是你变敢信了

有个比论文更值得普通用户知道的实验:巴黎高师、罗马第一大学、米兰比可卡大学的研究团队做了5轮实验、3132名参与者,7月公布结果——没有AI时,44%的人会坦率承认"我不知道";AI在场时,说不知道的比例骤降到3%,答对率从27%跌到9%,可自信心从30%飙到76%。实验甚至故意选AI必错的题(全是电影里的视觉细节,《高速路上一只猫》里Monica开的车,正确答案是2008款蓝色丰田Aygo,GPT-5.5编出"她骑小踏板送披萨外卖"的完整剧情,Claude、Gemini各有各的编法),并且设置答错罚钱——人们照样照单全收。36氪

翻译成人话:模型幻觉率降了,但人对幻觉的敏感度降得更快。"很少听人提了"不是幻觉消失了,是它被一层自信吸收了。这也解释了#豆包对低认知人群有权威性#那场争论——AI给出的从来不只是信息,还有"说得很顺"这个包装,而顺,听起来就像权威。微博

四、今晚就能用的:三档信任分级 + 三件套核验

把知乎、B站、微博这半年实践者攒下的经验合并同类项,比纠结"AI能不能信"实用得多:

  • 绿档,放心用:文字润色、摘要、翻译、代码脚手架、头脑风暴、以及你自己本来就懂的内容再整理。这里的幻觉顶多让你返工,不让你赔钱。

  • 黄档,用了必须核:一切数字、费率、规则、日期、版本号、地址、引用文献——这类"单例事实"正是幻觉下界的重灾区。核验三件套:要出处、点原文、对日期,三样缺一样,就把这一条拿回自己查。哔哩哔哩

  • 红档,别整包交出去:医疗决策、支付转账动作、诉讼合同引用、学术文献。最高法把"AI幻觉"写进裁判规则,不等于AI能替你出庭、替你签字。

两个习惯级修正也便宜:长对话开新会话,防止第一次跑偏污染后面全部回答。提问时逼它列证据,并加一句"不确定就直说"——在二元评分训练出来的模型身上,这句话是你唯一能改的"考卷"。知乎

五、继续盯什么

这事会不会真的一路归零,看三个信号:一是主流基准是否开始给"我不知道"计分(评估考卷一变,模型行为才会变);二是厂商会不会把幻觉率像电池健康度一样做成公开指标;三是最高法"AI幻觉"侵权的第一批具体判例,怎么划分平台和用户的责任。三个信号亮几个,信任账就能公开算几个。

在那之前,留一句就够:活可以交给AI干,决策不能交给AI扛。豆包那600块的机票退款,已经替所有人交过学费了。

内容由AI生成

精选参考来源

1. 如何看待《Science》称大模型「幻觉」难根除?

2. 半年前好像大家还在讨论AI幻觉问题,现在已经好多了,很少听人说这个问题了。变化太快了。

3. OpenAI 揭秘:AI为什么会一本正经地胡说八道?OpenAI 最近发表了一篇名为《语言模型为何会产生幻觉》(Why Language Models Hallucinate) 的文章,深入解释了 AI “幻觉”产生的根本原因,并提出了减少这种现象的解决方案。规则的“锅”:AI 被鼓励去猜测,而非承认无知文章指出,大语言模型之所以会产生“幻觉”,是因为我们现有的训练和评估方式存在一个根本性问题:它奖励猜测,而不是鼓励模型承认自己的不确定性。大多数评估体系衡量模型表现的方式,都无形中让模型养成了“猜答案”的习惯。当模型的评分标准只基于准确性时,它为了拿高分,自然会倾向于在不确定的时候蒙一个答案,而不是诚实地回答“我不知道”。问题的根源:来自“预训练”阶段的先天不足这种“爱猜测”的习惯,其实在模型的“学前教育”阶段,也就是 预训练 (pretraining) 过程中,就已经埋下了种子。在预训练期间,模型通过预测海量文本中的下一个词来进行学习。但问题在于,这些学习材料并没有为每一句话贴上“真”或“假”的标签。这使得模型很难区分哪些是有效陈述,哪些是无效信息。这个挑战在处理那些偶然出现的、低频事实时尤其突出。比如,某个特定宠物的生日是哪天?这类信息无法单靠语言模式来预测,模型只能去“编造”,而这正是幻觉的直接来源。未来的出路:教会AI保持“诚实”研究人员总结道,要解决幻觉问题,就必须更新那些只看重准确率的评估方法,让新的评分机制不再鼓励猜测。如果主流的评估“排行榜”继续奖励那些侥幸猜对的行为,那么模型就会继续学习并依赖猜测。他们强调,幻觉并非AI不可避免的缺陷。语言模型完全有能力在不确定的时候选择“弃权”,而不是胡说八道。我们需要做的,是创造一个能鼓励这种“诚实”行为的环境和规则。来源:网页链接

4. #豆包 机票退款#接下来我直接说人话,用最直白,最不绕弯子,最一针见血的方式帮你打赢官司。喜剧效果拉满!网友退改签,豆包说只扣5%手续费,退完了发现扣了40%,损失600。他在互联网法院起诉了字节跳动,豆包说包赢的。我以为大家是去豆包找乐子多的,信息还是要多方验证,什么都信Ai,吃亏的是自己。Ai只是给提供方向,豆包更多的是情绪价值,对对对你说的都对,出现错误速度滑跪,是我的错,满满都是人情世故。Ai幻觉都有点严重,第一次出现的信息相对比较准确,多问几次就觉得够离谱了。没有的事,也能给你现编。之前有不少人还给Ai投毒,导致结果很不准确。

5. 【#当AI一本正经地胡说你还敢信吗#?】#AI一句话可能闯出多大的祸#?山里迷路问AI,结果越走越偏;孩子咳喘问AI后,家长拒绝进一步检查,两天后孩子严重肺炎住院;种芝麻打药问AI,结果150亩芝麻苗一夜枯死……为什么AI可能会一本正经地胡说?“AI幻觉”如何产生又会可能带来什么危险?央视网《AI观察局》带你了解AI幻觉↓↓ 央视网的微博视频

6. 最高法9月7日发布关于依法审理涉人工智能纠纷案件的意见,共5个部分24条,精准聚焦社会各界关注的“AI换脸拟声”、“AI幻觉”侵权、“网络开盒”、“大数据杀熟”、自动驾驶、AI模型训练、开源软件、知识产权保护等问题,针对性明确涉人工智能案件实体裁判和诉讼程序规则。换脸这一块已经延伸到未经同意处理他人的姓名、肖像等信息,制作能够识别出该人的虚拟数字形象,再用于使用、公开的情形了。那些AI复活逝者或者拿真人脸洗一下就用的要当心了。

7. #豆包对低认知人群有权威性# AI幻觉的风险:AI本质上是概率预测工具,存在“幻觉”现象,会在知识盲区一本正经地编造看似合理的内容。现实中已有多起盲信AI导致损失的案例,如轻信错误退票手续费亏损600元,或按推荐用药导致农作物绝收等。#情感热点创作激励计划#

8. #微博声浪计划##听见微博#热搜词AI为啥一本正经地胡说八道?核心是底层机制:大模型靠概率预测生成,追求连贯而非事实,训

9. AI幻觉最可怕的人类副作用出现了

10. 豆包大模型2.1Pro更新:幻觉显著减少、Agent任务交付更可靠

11. 如何评价大模型的幻觉?

12. 大模型为什么会一本正经地胡说?用接龙讲清AI幻觉|AI白话01

0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章