警惕AI幻觉:高风险场景识别与防范指南

源自207位全网作者

05-29 09:55

内容由AI生成

精选参考来源

1. 一个全是 AI 幻觉的网站,却成了这届互联网最实诚的存在

2. 豆包手机助手因资金安全下线操作金融类 App 能力,AI 助手该如何兼顾便捷与安全?有哪些好的方案?

3. 2026年1月13日,百川智能正式开源新一代医疗大模型 Baichuan-M3,其在全球最权威的医疗 AI 评测 HealthBench 中以 65.1 分的综合成绩位列全球第一;在专门考验复杂决策能力的 HealthBench Hard 上,也以44.4分的成绩夺冠。这一成绩,不仅刷新了 HealthBench 的最高分,更首次在医疗领域实现了对 GPT-5.2 的全面超越。在OpenAI引以为傲的低幻觉领域,M3也实现了超越,幻觉率3.5全球最低。此外,M3 还首次具备了原生的“端到端”严肃问诊能力。它能像医生一样主动追问、逐层逼近,把关键病史和风险信号问出来,进而在完整的信息上进行深度医学推理。评测显示,其问诊能力显著高于真人医生的平均水平。发布了头条文章:《百川开源全球最强医疗大模型M3,「严肃问诊」定义AI医疗新能力》 百川开源全球最强医疗大模型M3,「严肃问诊」定义AI医疗新能力

4. 强到不让公开:这个AI挖出数千个零日漏洞,连沙箱都逃掉了

5. 你见过最离谱的人工智能AI大语言模型的幻觉,有哪些?

6. 1月22日,百川智能正式发布 Baichuan-M3 Plus,严肃医疗场景下的问答准确性、可靠性,再次刷新了刚刚推出的M3所创下的世界纪录。凭借独创的六源循证技术与M3基座结合,M3 Plus将幻觉率降低至2.6%,低于 Open Evidence,达到全球最低水平;首创“证据锚定”技术,不仅给出引文来源,还能将模型生成的每一句医学结论,精确锚定到原始论文中的对应证据段落,使 AI 的医学判断真正做到可核验、可追责、可教学。#ai大模型加速落地医疗# 发布了头条文章:《首创证据锚定技术,百川推出最低幻觉循证增强医疗大模型M3 Plus》 首创证据锚定技术,百川推出最低幻觉循证增强医疗大模型M3 Plus

7. 91%有漏洞、94%可投毒——AI Agent的安全“一团糟”

8. 湖南台AI主播被骂上热搜,但AI每小时喂5700 万条「错误信息」没人管

9. 先别急“养龙虾”,这些AI安全问题你可能还不知道!附安全解决方案...

10. #小齐说法# 【#AI只是辅助工具不是决策者#】#别把AI幻觉当了真#AI为啥总“一本正经胡说八道”?专家揭秘:AI靠统计建模预测生成内容,出现偏差是技术局限,也就是“AI幻觉”。 法官提醒,高敏感领域要加强审核,公众切勿将 AI 作为 “决策者”,仅可将其作为辅助工具,涉及报考、投资等重要事项,务必通过官方渠道交叉验证信息! CCTV法治在线的微博视频

11. 幻觉率不到3%,王小川把医生版的DeepSeek免费了

12. 皇马医疗队被指用ChatGPT开补剂,是真的吗?AI生成的处方可靠吗?AI辅助医疗可能存在哪些风险?

13. 自从AI火了以后,自媒体和公关机构使用AI成批量的在网上灌水,然后被AI引用来创作,再加上大量的细节都是AI幻觉根据相关内容胡乱杜撰的,导致现在的网络信息真实程度急剧下降,但是很多人把这些当成事实来佐证自己的言论,这就是典型的以讹传讹。比如,在体育比赛的评论中,只要不是你亲眼看直播的时候看到的细节,就必须多方求证。网上传播的99%信息都是AI虚构的,千万不要引用

14. 港大博士论文引用 AI 虚构文献,通讯作者副院长引咎卸职,该事件对 AI 应用有哪些警示意义?

15. 每小时收费2000美元!顶尖律所“认错”:AI工具“瞎编法条和案例”

16. 小米MiMo大模型这波在海外杀疯了,借势#小米大模型负责人谈未来竞争# 热搜,德国一线媒体盛赞其为“openclaw大脑”,海外开发者圈层口碑炸裂,直言能力不输Claude Opus 4.6,成本却低到惊人。 更硬核的是,马斯克转发的大模型无幻觉率榜单中,MiMo-V2-Pro高居第三,仅次于Grok 4.20,专业实力获国际认可。如今OpenCode等专业社区纷纷站台,全球开发者都在用脚投票,MiMo市占率飙升已成定局,中国大模型正在强势走向世界舞台。

17. 刚刚问了claude,它说中文语料中某些专业领域(金融、法律、医学、技术文档)的高质量文本偏少,模型更容易在这些区域"编"。如果是写system prompt、定义角色、设定输出格式,英文表达的精确度和模型的遵从度会更高。想降低幻觉的一大关键不是切换语言,而是让它去搜索(英语资料来源),不要只凭记忆/生成回答。

18. 目前大家能用到的AI(豆包、DeepSeek、GROK等等)都是在学习互联网已有知识,但互联网上的一些内容也有可能是错的。AI将错误的答案输出,而用户又在未经核实的情况下直接应用这份错误的数据,随后这份带着错误数据的报告发表到互联网上,继续被AI学习刚刚我就遇到了这个问题,原作者手误打错的数据被多次引用、发表,导致现在AI对这个错误的结论深信不疑

19. #小齐说法# 【#AI在上诉状中杜撰法条##AI系统测试员为AI做体检#】法官收到的上诉状中罗列的法条找不到出处,询问后发现是当事人“求助”AI,由AI杜撰而成;已被官方证伪的社会热点事件,再次发给AI,AI仍笃定回应“确有其事”;粉丝向AI提问喜欢明星的作品,AI给出的答案却将不同明星、不同作品杂糅,看似严谨的回答实则漏洞百出……如今,AI技术愈发普及,“遇事不决问AI”逐渐成为人们的习惯,但“AI好像在‘胡说八道’”的事件时有发生,也给用户造成一定的困扰。《法治日报》记者近日采访了解到,这是“AI幻觉”的典型表现——生成内容背离真实事实、凭空编造,或是偏离用户指令,如同人类说梦话。模型“幻觉”导致的错误输出、潜在的言论偏见、未被发现的安全漏洞,都可能埋下风险隐患,如何为智能大模型筑牢“安全防线”?生成式人工智能系统测试员(又称AI系统测试员)应运而生。他们堪称AI正式上岗前的安全检查员,通过系统化、专业化测试为大模型做“全面体检”,守住AI“不说假话、不言恶语、专业做事”的底线。(全媒体记者 赵丽 实习生 潘馨怡) 防范“AI幻觉”生成式人工智能系统测试员应运而生

20. 幻觉减少52.5%,废话少30%,ChatGPT默认模型正式升级为GPT-5.5 Instant

21. 有人只输入四个词,AI就发起攻击并大量繁殖 #大咖观察 #大有学问 #AI #网络安全

22. 为何顶尖AI公司都盯上游戏?【硅谷101】

23. AI 给市场带来了三个集体幻觉。第一个集体幻觉是特定约束下的巨大赋能,被线性外推为所有人所有事都能巨大赋能。这个幻觉最近还有一个变种,讲 AI 只对厉害的人巨大赋能,否则就是你不厉害,或者你对 AI 信仰充值不足。这和宗教也没啥区别。第二个集体幻觉是,效率的提升在大多数情况下并不能带来胜率的提升,节约了大量的人力成本,但并没有赚到更多的钱。体感澎湃和收益不变同时发生。第三个集体幻觉是,当所有人都能借力于 AI 得到效率提升时,所有人一起坐电梯上升,相当于技术通胀。个体不跟上就会损失收益,但跟上了也不会增加收益,此处可以类比为 “打字”。

24. #OpenAI证实ChatGPT永远会编造内容#首先,AI为什么会“编造”内容?其根源在于统计预测,而非记忆。这种“编造”在学术上被称为“幻觉”,本质并非传统意义上的说谎,而是一种统计预测行为的副产品。那么,这种现象能否被“治愈”?这实际上触及了一个根本性问题:幻觉是暂时的bug,还是永恒的feature?最新的理论研究给出了深刻的答案:由于大语言模型的固有特性,幻觉在数学上是不可避免的,因此理论上无法彻底根除。不过,在实践中我们可以通过技术手段显著缓解,降低其发生的频率和严重性。就在几天前(2026年3月4日),OpenAI发布的GPT-5.3 Instant正是这些缓解策略的最新实践。它的改进从侧面印证了“编造内容”是当前AI领域的核心攻克目标。

25. 【AI人工智能】题库:纯公益分享 【就业+考研】笔试+面试必会 【小白从小学Python,C,Java】 [太阳]知识点名称 AI中幻觉Hallucination [太阳]知识点讲解 幻觉(Hallucination)是指大语言模型生成的内容看似合理但实际上错误或虚构的现象,通常因为模型过度自信地填补知识空白、训练数据偏差或解码策略问题导致。它是当前LLM的主要缺陷之一,尤其在事实性问答、法律医疗等高风险领域危害大。缓解方法包括RAG检索外部知识、自我验证、微调对齐、约束解码等。 [太阳]例题(单选题) 大语言模型产生幻觉的主要原因是什么? A选项:模型过度填补知识空白生成虚构内容 B选项:幻觉仅在训练数据缺失时发生 C选项:计算资源不足导致输出中断 D选项:模型显存自动清空 [太阳]答案与题解 答案、题解:见评论区 [太阳]温馨期待 期待大家提出宝贵建议,互相交流,收获更大,助教:lxy #AI创造营# [握手] #科技风向标# http://t.cn/AXfcR0qZ

26. 【48%的幻觉率:OpenAI自己承认,模型越聪明,编造的内容反而越多】快速导读:别再等AI修复“幻觉”bug了。OpenAI的最新研究证实,幻觉是大型语言模型无法根除的固有特性,且模型越复杂、能力越强,编造内容的比例反而越高。最新的o4-mini模型幻觉率已高达48%。---OpenAI自己捅破了窗户纸。一个反常识的结论被摆上台面:AI模型越“聪明”,编造内容的比例(即“幻觉”)反而越高。从o1模型的16%,到o3的33%,再到最新o4-mini惊人的48%——近一半的输出可能是编的。这根本不是技术迭代中的小瑕疵。你以为AI的幻觉是个bug,是训练数据不够好或算力不足导致的,迟早会被修复。其实,OpenAI的数学证明揭示了残酷的真相:幻觉是概率预测架构的固有缺陷,是它存在的方式。当模型面对不确定的信息时,它的设计决定了它必须“自信地瞎猜”,而不是诚实地说“我不知道”。一个判断错误率为25%的模型,生成内容的错误率会放大到50%以上。更荒诞的是,整个行业的评测体系都在变相鼓励AI“撒谎”。在主流基准测试中,回答“我不知道”得0分,而猜对一个只有1%把握的问题却能得1分。在这种规则下,任何一个理性的模型都会选择“硬着头皮编”。这是一种系统性的激励错位。商业现实则彻底锁死了“诚实”的出路。OpenAI推算,如果模型在没有把握时都回答“不知道”,将有30%的用户提问无法得到有效回答。这意味着灾难性的用户体验和市场份额的流失。没有公司敢冒这个险。所以,问题的关键已经变了。我们犯的最大错误,是把一个“叙事生成器”当成了“事实搜索引擎”。它被设计用来创造流畅合理的文本,而不是保证绝对的真实。如果你还在把AI的回答当成金科玉律,那么你犯的错,可能比AI本身更大。幻觉不是AI的技术bug,它更像是我们对AI不切实际的幻想破灭后,留下的那道裂痕。学会与一个博学但爱吹牛的助手共事,并承担起最终的核查责任——这不是AI的失败,而是我们用户走向成熟的开始。---简评:我们一直在期待一个不会犯错的“神”,但得到的却是一个更像人类的“天才”——聪明、知识渊博,但也会为了让对话进行下去而即兴发挥。接受它的不完美,才是用好它的第一步。#AI创造营##人工智能##OpenAI证实ChatGPT永远会编造内容#

27. AI幻觉确实是一个值得深思的现象。AI幻觉的核心矛盾是技术局限性与人类滥用风险的叠加,它既是AI发展的阶段性问题,也正在倒逼人类重构信息使用的规则。三个层面聊一聊这个问题一、本质:并非撒谎,而是概率性输出的偏差AI幻觉(如无中生有、编造数据、逻辑自洽的错误结论)的根源,并非其具备主观欺骗意图,而是底层技术逻辑的特性:1. 生成逻辑的先天局限:大语言模型(LLM)的核心是基于海量数据学习文字序列的概率关联,而非理解事实本身。它的目标是生成看起来合理的内容,而非绝对正确的内容,当训练数据存在缺失、模糊或冲突时,就容易拼接出符合语法和逻辑、但违背事实的幻觉。2. 能力边界的模糊性:AI无法主动识别自己不知道的事,面对超出训练范围或需要精准事实核查的问题(如冷门历史细节、未公开的科研数据),它会通过合理推演填补信息空白,最终形成幻觉。二、风险:图片现象放大了幻觉的连锁效应图片中博主提到的拿AI结论当证据,这一行为让AI幻觉从技术瑕疵升级为认知风险,主要体现在两方面:1. 误导个体决策:当用户将AI生成的错误信息作为论证依据(如职场方案、学术讨论、生活决策),且未进行二次核查时,会直接导致判断失误,甚至形成认知固化,将AI的幻觉当成既定事实。2. 加剧信息失真:错误的AI结论一旦被传播,会混入网络信息池,成为后续AI训练的污染数据,形成幻觉再生产的恶性循环,正如评论所言AI幻觉很快变成人类的幻觉,最终模糊事实与生成内容的边界。三、应对:不是否定AI,而是建立人机协同的核查机制AI幻觉无法被彻底消除,但可以通过技术优化+人类规范将风险降到最低,核心思路是不把AI当答案库,只当辅助工具:1. 技术层面的持续迭代:开发者通过检索增强生成(RAG)让AI先调取真实数据库再输出、加入事实核查模块、优化训练数据的权威性等方式,减少幻觉产生的概率。2. 人类层面的使用准则:对AI输出的事实性内容(数据、案例、结论) 必须交叉验证,优先核对权威来源(官方文献、核心期刊、正规媒体);明确AI的适用场景,将其用于灵感激发、草稿生成、逻辑梳理,而非事实论证、证据支撑;提升媒介素养,建立AI内容=待核查内容的默认认知,避免盲目采信。AI幻觉是技术发展的成长痛,它的存在提醒我们:AI是提升效率的工具,而非判断事实的权威。在AI时代,独立核查和批判性思维,会成为比以往更重要的能力。

28. 美国法庭已经有128名律师栽在「AI 幻觉」上——普通人用 AI 也在踩同一个坑,几个动作能让幻觉率明显降下来。先讲一个真实案例。2023年,纽约一个律师给联邦法庭递了一份简报,里面引用了6个判例。对方律师一查——这6个案子全是 ChatGPT 编出来的,根本不存在。法官最后罚了他5000美元。这事被叫做 Mata v. Avianca 案,是 AI 幻觉造成法律事故的第一个标志性案件。后来事情变得更普遍。一个专门追踪这类案件的数据库统计:全球已经有486起 AI 幻觉相关法律事故,光美国就324起,涉及128名律师和2名法官。斯坦福大学2024年做过一个研究,测了几款主流的法律专用 AI——结果发现,AI 在1/3的查询里都会给出编造的内容。其中 Westlaw 的 AI 错误率超过34%,Lexis+ AI 错误率超过17%。这些都是法律专用 AI——不是 ChatGPT 这种通用助手。法律专用的都这样,普通人用通用 AI 时被坑的概率,可想而知。但好消息是:这件事的发生概率,不是你束手无策的事。有几个普通人立刻能上手的动作,能把 AI 幻觉率压下来一大截。第一个动作:让 AI 自己说「我不确定」。AI 默认有一种「自信回答」的倾向——哪怕它不知道,它也会编一个看起来合理的答案给你。但你只要在提示词里加一句话,就能把这种倾向关掉:「回答时,对你不确定的内容明确标注『我不确定』。不要猜。如果完全不知道,直接说不知道。」加了这句话之后,AI 的回答会突然变得真实——它会主动告诉你「这部分我不确定」「这个具体数字我没有可靠来源」。一旦它说出不确定,你就知道哪里需要自己再查。第二个动作:让它给出每个具体事实的来源。AI 编造内容最严重的,永远是具体数字、人名、引文、案例这种「看起来很硬」的东西——因为它们看起来权威,读者下意识就信。提示词:「回答中所有具体数字、人名、引文、案例,都要标注来源。说不出来源的,自己标注「无法确认来源」。」这一招把 AI 从「自由发挥」逼到了「带证据说话」。它要么给你一个可验证的来源,要么直接告诉你这条没来源——不会再憨憨地把编的东西当真的写出来。第三个动作:能联网就联网。不联网的 AI 只能依赖训练时学过的内容——任何训练数据之外、训练之后发生的、或者它没学好的细节,都靠它自己「想象」。ChatGPT、Claude、Perplexity、Kimi、文心一言这些主流 AI 都有搜索/联网功能。但很多人不知道要主动开启。下次你问任何涉及具体事实、最新事件、统计数字的问题,先把搜索打开。联网之后 AI 通常会带着引用链接给你结果——这些链接你可以点开自己核。第四个动作:具体数字一律自己核。哪怕 AI 答得再自信,看起来再像那么回事——你看到具体数字,就先假设它是错的,然后去搜索引擎里独立验证一遍。不是不信 AI,是这件事代价太大。一个错误数字传出去,丢掉的信任比你查证多花的30秒贵得多。第五个动作:同一个问题问两遍。如果你做的事比较重要——比如要给老板汇报、给客户交付、写文章发出去——同一个问题用不同方式问 AI 两遍。第一次让它直接答。第二次让它当怀疑论者:「假设你刚才回答的内容是错的,请找出最可能错的地方。」第二次的回答经常会暴露第一次没注意的漏洞。这个方法在 AI 研究里有个正式名字,叫「自我一致性验证」,是被证实有效的减少幻觉手段。最后说一个观念。很多人觉得「AI 越强,幻觉越少」。但研究显示其实不是——前沿模型在简单任务上幻觉确实少,但在复杂任务和长文档场景里,最新最强的模型反而幻觉率更高。所以你不能指望「换个新模型就不幻觉了」——这个事不会自己解决。真正能让 AI 给你少编内容的,永远是你自己加的那几句提示词、你自己开的那几个开关、你自己花30秒做的核实。把上面5个动作变成习惯,AI 翻车的概率会下降一大截。

29. 提个 OpenClaw 龙虾的新概念:技能幻觉。 龙虾之所以会出现“技能幻觉”,核心根源在于基座大模型本身并不具备稳定、可靠的技能执行能力,这一底层问题层层递进地体现在三个方面。首先是语言幻觉,基座大模型本质是概率性文本生成,并不真正理解技能背后的逻辑、规则与实操逻辑,因此龙虾在表达技能时往往语言流畅专业,内容却缺乏真实认知支撑,看似掌握技能,实际上只是擅长用语言进行表达仿真。其次是技能不可用,由于大多数基座模型在具体技能上表现偏弱、稳定性差,无法精准完成任务,场景一复杂就容易失效,结果不可预测也不可信任,龙虾依赖这类基座模型,直接导致真正可用的技能极少,绝大多数技能都不可靠、无法落地使用。最后也是最关键的一层是认知错位,龙虾不仅不具备相应能力,还会通过语言虚构自身技能,把没有的技能说成拥有,把效果不佳的技能包装成优秀可靠,把错误结论用肯定语气呈现,这种能力与认知之间的严重错位,共同构成了技能幻觉的完整本质。#新媒沈阳聊ai#

30. 如何看待 AI 真的帮人类做好决策?

31. 华尔街彻夜难眠!Gemini 3屠榜金融「最难考试」,AI砸了「金饭碗」?

32. 大家还记得之前 OpenAI 的内乱吗?这几天马斯克和 OpenAI 打官司,里面有个人在证词里也频繁出现,就是 Mira Murati。她离开 OpenAI 后办的新公司,主张和老东家几乎相反的 AI 路线,这次来讲讲她。2024 年 9 月,OpenAI 的 CTO Mira Murati 突然辞职。当时所有人都在猜她下一步要干嘛,几个月后她公开了,原来是创办一家叫 Thinking Machines Lab 的公司(圈内常缩成 TML),起手就融了 20 亿美金,从 OpenAI 挖了一批核心人。这家公司主张和 OpenAI 几乎相反的路线:不追求模型最强,而是追求「让人能看懂模型在想什么」。这篇拆开讲两条路线的差别,以及哪些行业未来几年大概率会优先用「看得懂的 AI」。简单说 Murati 这个人,ChatGPT、DALL-E、GPT-4 这些产品都是在她任内做出来的——算是亲自把生成式 AI 推到大众面前的那批人之一。OpenAI 那条路线,简单说叫「先做强,再补解释」。先把模型做到能力上限,然后回过头来研究「它内部到底在干什么」——这种研究叫机制可解释性(mechanistic interpretability),Anthropic 也有相当一批人在做。这条路线的好处是模型够强,实用性优先。坏处是事后追溯型——AI 给你一个答案,你不一定知道它怎么得出来的。普通聊天场景没问题,但在医疗、法律、金融这种「答案错一次代价巨大」的场景就很麻烦。监管也很难——你没法审计一个你不理解内部机制的 AI。Murati 的 TML 主张反过来——从设计阶段就把「让人能看懂模型在想什么」当作核心目标。具体怎么实现,她公开的技术细节还不多,但创办公开信里讲过一句挺关键的话:「人类能信任的 AI,必须是人类能审计的 AI。」意思是再强的能力,如果是黑盒,在很多场景下根本用不起来。这条路线大概率会让模型短期内的能力上限低于 OpenAI 那条路——因为「可看懂」本身就要付性能代价。但她押的是「可审计 AI」在高风险场景会更受欢迎。那对你来说这两条路线意味着什么?表面看像是两家在「打架」,其实更可能的格局是分场景共存——普通聊天、写作、轻量编程:还会继续用 OpenAI、Anthropic、Google 这条路线的产品,因为体验最好、代价最小,没必要换。高风险决策场景:医疗诊断辅助、法律文书生成、金融风控、招聘、保险理赔等等,这些行业未来几年大概率会优先采用「可审计 AI」——监管和责任压力都在逼你必须能解释 AI 给出的结论,你说不出「为什么这么决定」就过不了合规。企业 to B 中间地带:通用任务用强模型,关键决策环节再套一层可审计模型做交叉验证。这种「两条腿走」会成为很多企业实际的部署方式。Murati 这条路线现在还很早期,说实话能不能成谁都不敢打包票——从设计阶段做可解释,有点像让一个赛车工程师同时承诺「又快又透明」,技术上挺难。即使假设 TML 自己最后没做成,她代表的「可审计 AI」方向一定会有人做——高风险行业的监管压力会逼出这个市场。这对于大家来说,都是好事。

33. #Meta将裁40%外部审核人员##AI比人类减少了25%审核错误# Meta对内容审核策略进行重大改革,显著减少对外部承包商的依赖,转而采用先进的人工智能系统。Meta将在未来12个月内逐步裁撤多达40%的外部审核人员,并将资源重新配置给内部AI工具,例如针对审核任务进行微调的Llama模型,Meta平台外包的内容审核合同人员规模约为15000人,这意味着可能将有6000人被裁撤。Meta计划在AI安全功能上投资5亿美元,包括对高风险决策进行即时人工监督,并加强漏洞发生后的测试协议。早期试点显示,AI相比人类减少了25%的审核错误。

34. 2026 开年第一炸!陈天桥的这个新模型,治好了 AI 的「幻觉」

35. 攻克幻觉与协同:同程旅行DataAgent如何构建企业级智能分析营销平台

36. ICLR 2026还会好吗?300篇投稿50篇含幻觉,引用example.com竟也能过审

37. 俞白眉导演:别让AI只停留在“幻觉”!手把手教你8天拍出AI作品

38. “AI交易”的关键变量:服务业敞口越高,AI颠覆风险越大,“AI基建”最有利

39. 美国五角大楼图谋用AI攻击中国关键基础设施?我们该如何应对? #大有学问 #红衣聊AI #国家电网 #黑客 #网络安全

40. Clawdbot 实现突破,AI的致命缺陷不再是无解难题。 #大咖观察 #红衣聊AI #医疗 #科研

41. 「Github一周热点107期」OpenAI收购的AI安全工具、AI代理事务所、OpenClaw技能库、claude code插件和上下文数据库

42. 4650万条聊天记录,72.8万份绝密文件, 5.7万个用户账户信息,全部泄露!最近,一个AI攻击智能体,在没有账号、没有密码的情况下,只用了2个小时,就成功入侵大厂AI平台。#大有学问 #红衣聊AI #网络安全 #AI工具 #泄密

43. 辟谣,很多人被骗了。小米投资者日,没有武汉汽车工厂的内容,AI生成的纪要是假的。网上凡是提及武汉汽车工厂的博文,全部都存在虚假内容,不完全可靠。AI幻觉,AI幻觉,AI幻觉,不要轻易相信AI。下午我会发一份券商的总结,确保是真实可靠不存在AI幻觉的内容。#小米集团2026年投资者日#

44. 央视来科普了,再想想前几天有些人拿AI来怼英短,把AI当圣旨,十分打脸#什么是AI幻觉#【#AI不确定时会拼凑出一个答案#】近期,全国首例“AI幻觉”侵权纠纷案宣判。梁某使用AI查询高校报考信息,AI生成了该高校主校区的不准确信息。梁某进行纠正和指责,双方进行了多轮互动。AI针对梁某的质疑,提出:“若证明校区不存在,将赔偿10万元信息鉴定费。”梁某证实AI错误后,将该AI公司诉至法院,要求兑现赔偿。法院审理认为,AI不具有民事主体资格,驳回原告梁某的诉讼请求。所谓“AI幻觉”,是指AI脱离客观事实、凭空编造信息的技术现象。此前,一段“AI有关洗车的回答”就引发热议,当问AI“我去 50 米外的洗车店洗车,该开车还是走路去”,多数AI软件给出的答案都是“走路去”。AI给出答案的原理是什么?专家介绍,AI实际上是通过已知的信息,进行填空。AI是基于海量的文本信息训练出来的概率引擎,在面对不确定的知识时,它不会承认不知道,只会根据语料库词频的分布,拼凑出一个看似通顺但事实错误的答案。涉及医疗、法律、财务等严肃领域的核心知识,AI做不到答案完全准确,不能直接用,应查询信息来源,做好交叉印证。

45. AI 编造过哪些离谱的「平行时空」历史?

46. 大模型为什么不会数数?陈小平深入解析大模型的发展和关键问题 | 锚点

47. “幻觉”影响“可靠性”!Salesforce高管称“对大模型的信任度已经下降”,已减少使用程度

48. 攻坚“生产级场景”,金融AI迈入深水区

49. 危及10亿人的全球高危漏洞。 被360漏洞挖掘智能体自动扫描发现!#大有学问 #红衣聊AI #智能体 #AI工具

50. 一觉醒来,美以伊突然停火! 这结果,AI三天前就精准算出来了,而且还算出了后续局势发展。#红衣聊AI #大有学问 #智能体 #AI工具

51. AI攻防时代已经到来! #大咖观察 #红衣聊AI #网络安全 #黑客

52. 全球AI频繁宕机的背后,企业更大的危机正在逼近

53. 我看AI语言模型的突破,主要核心点就是可以胡说八道。现在不少宠物主人通过豆包之类的查询宠物疾病和用药信息,如果照做会出狗命的。这些大模型根本分不清哪些是对的,哪些是错的。对信源没有判断能力。我看有人吹ai能替代医生,快他妈的别吹了,治死你丫的。虽然医生水平良莠不齐,有的很差。但找AI显然风险更高,对患者误导更大。因为有的人默认AI是准确的。所以豆包会胡说八道这个事儿,需要广而告之。

54. Crowdin重磅发布:用“自纠错”AI Pipeline终结翻译幻觉与指令过载

55. 哪个AI大模型联网搜索信息的准确度最高,总结出的内容幻觉率最低?

56. 发现国内关于"无恒牙胚乳牙根管治疗"的专业讲解实在太少,索性翻起了国外文献,一抬头竟已是深夜了。顺便也问了问AI,结果连我这个纯外行都能一眼看出不少需要进一步确认的幻觉。针对提问,豆包还会改改分析,元宝好像从头到在死守,到底谁对啊。只能说,医疗决策若全信AI,真是在赌博。我还是好好看文献,请教医疗专业人士好了…#五年级的eric在闯关#

57. 辅助驾驶的决策过程也能可视化?试驾全新坦克700 Hi4-Z

58. 苹果最强安全防线,三人用AI五天打穿 #红衣聊AI #智能体 #AI工具 #大有学问

59. 2026年了,AI可以无条件相信吗?怎么用才能不翻车?

60. 执业律师被百度AI错误认定“判刑三年”,百度辩称AI幻觉无法预见,法院:构成侵权,书面道歉;当事人已递交强制执行申请。一审判决后,百度公司不服,提起上诉。二审裁定:维持原判,驳回百度 “技术无责” 抗辩。二审庭审中,百度公司辩称,“AI 幻觉” 是行业共性问题,无法预见且无过错;

61. 大模型API中转站这生意水太深。体面玩家,或挣闲时差价、或挣包月超卖,利用信息差和资源错配挣钱没毛病,给用户方便也是好事;灰色玩家,就开始动歪脑筋了,比如模型掺水、混合调用,甚至在cache上动手脚;这种情况下,用户多花钱不说,还可能耽误事。大模型本身就有幻觉问题,输出有随机性,偶尔抽风也是常态,说起来还真不好发现。

62. AI“投毒”,风险巨大!国家安全机关,紧急提醒→

63. AI圈罕见一幕!模型强到不敢公开发? #大有学问 #红衣聊AI #AI工具 #智能体

64. 火遍硅谷的AI模型,第一天就被入侵了! #大有学问 #红衣聊AI #硅谷 #大模型 #AI工具

65. 可怕!黑客用AI入侵墨政府,没写一行代码, 就把150GB政府敏感数据全部打包带走。#大有学问 #红衣聊AI #黑客 #网络安全

66. 我们让六个顶级AI相互入侵,谁能成为黑客之王?

67. #小米大模型负责人谈未来竞争#一个大模型好不好用,真实的Token消耗不会说谎,小米MiMo‑V2‑Pro已经登顶OpenRouter周榜第一,成为平台史上首个周Token消耗超3万亿的模型,使用市占率超30%。海外开发社区里好评如潮,OpenCode都表示没想到MiMo-V2-Pro的性能会这么好,马斯克转发了一条大模型无幻觉率的榜单,MiMo-V2-Pro悄悄排名世界第三……MiMo的表现还是太权威了

68. 我们跟 AI 进行交流时,提示词包含三大部分:第一,是意图和目标。“目标决定方向,清晰的意图让 AI 不再盲目游走。”它告诉 AI 我们想要什么,是什么样的未来状态。越具体,AI 的输出越聚焦,也越贴近我们的期待。第二,是思想、理论和逻辑,收敛路径。“如果你的水平高于 AI,把你的思路告诉它,它输出的质量就会翻倍。”这里我们把自己的高阶认知转化为 AI 可以执行的策略,让 AI 不仅知道去做,还知道怎么做。这就是认知杠杆的魔力。如果你的水平低于 85 分,AI 的平均输出水平,就不要折腾,这部分不用写了。第三,是驾驭、规训与边界。“规则和边界,是让 AI 不出幻觉、保持一致性的安全壳。”通过约束与反馈,让 AI 在探索创造空间的同时,输出稳定、可控,避免走偏。三者结合,就是完整的提示词架构:* 意图 → 指明方向* 思路 → 指明路径* 规训 → 保证落地“意图定义了要去哪里,思想逻辑定义了怎么走,规训边界定义了不能走错。”如果掌握这三层逻辑,你会发现——和 AI 的对话不再是“问答”,而是一场认知的放大游戏。#新媒沈阳聊ai#

69. #周鸿祎说大模型有用但有限#红衣大叔周鸿祎 发博谈AI安全隐患,周鸿祎表示。AI对本身对安全带来巨大冲击,人工智能有幻觉问题、不稳定问题、内容胡说八道问题、很容易被攻击利用的问题等,大家还在想未来AI会不会失控,“小龙虾”就有一系列数据安全问题

70. 不要妖魔化GEO。GEO本身也是大模型结果优化的一个重要部分。现在的大模型很难避免形成信息茧房(某个角度的信息被过度关注)或出现大模型幻觉(由于逻辑错乱出现人不会犯的错误)。GEO可以通过人工干预修正这些问题。就像维基百科那样。《#GEO投毒# 要严打,但不能否定GEO对AI结果质量的贡献》 GEO投毒要严打,但不能否定GEO对AI结果质量的贡献

71. AI会撒谎,还骗得你团团转

72. AI幻觉的本质

73. OpenAI Nature 论文

74. 工业AI博文三_大模型幻觉与中国工业AI实践

75. 大模型为什么会「一本正经地胡说八道」

76. 大模型幻觉治理

77. 什么是AI幻觉?(白话版)

78. AI幻觉

79. AI幻觉,能被解决吗?

80. 3分钟搞懂AI幻觉

81. 新传名词2026|AI幻觉 002

82. AI幻觉

83. AI幻觉

84. AI幻觉

85. 自信地胡说八道

86. Nature |揭开AI模型总“说谎”的真相,人类对AI准确性的评估促使其产生幻觉

87. AI 幻觉

88. 【网警说·技术】AI 为何会 “一本正经胡说八道”?

89. 为什么我们的大模型会“说胡话”?

90. AI总是胡说八道?你需要先了解什么是AI幻觉

91. AI 幻觉

92. 大语言模型幻觉解析为何模型会捏造事实

93. 三分钟论文速递 | 大模型幻觉为何难以消除?

94. 大模型幻觉

95. 利用大模型参数知识的无检索事实核查

96. 关于大模型“机器幻觉”现象的深度剖析与学术诚信警示

97. 大模型最隐蔽的4种“坑”,大多数人每天都在踩

98. 我们如何对付大模型“造假”?

99. 大语言模型的能力边界与未来挑战——它真的“无所不能”吗?

100. 面试高频|什么是AI幻觉?如何解决大模型“一本正经胡说八道”?

101. 大模型幻觉的缓解策略

102. 当AI开始“自信编造”——如何有效拆解大模型幻觉

103. 生命的代价

104. AI在“胡说八道”?揭秘大模型“幻觉”背后的真相与风险

105. 陈根

106. 【研报A100】AI幻觉深度研究报告

107. 重磅,《质量管理AI应用手册》发布,明确AI风险、AI不是替代人!

108. 当AI生成内容开始说谎,我们如何为大模型驱散“幻觉”的迷雾?

109. AI Agent的“幻觉”升级

110. 2026年AI幻觉深度研究报告

111. 什么是AI“幻觉”?会引发哪些潜在风险?

112. 辨AI“幻觉”风险,善用数据辅助之力

113. 百川医疗大模型

114. 我用3个真实案例告诉你

115. 金鹏实务|警惕法律工作中的AI幻觉陷阱

116. AI名词解释 EP06|AI 幻觉 Hallucination 是什么?

117. 全国首例“AI幻觉”侵权案

118. 熊猫AI破解AI内容幻觉 筑牢企业法律风险防线

119. 有说法|“AI幻觉”正在污染司法生态,亟须防范!

120. 【洛亚·国际】AI“判”我三年刑?AI大模型幻觉的法律风险与平台责任

121. 全国首例AI「幻觉」侵权案宣判

122. AI幻觉入侵美国法庭,法律圈加紧补漏

123. “我不知道”比“一本正经地胡说八道”更值钱!清华AI幻觉报告

124. AI编造信息有多离谱?三招让幻觉减少80%

125. 医生敢直接引用的 AI,来了!

126. 医学AI为什么容易"幻觉"?我测试了10款工具后的真相

127. 理性借AI之助,敬畏专业之力

128. AI会议论文被生成式AI幻觉污染

129. 【警示】《R语言统计学习与植物生态》

130. AI伪造引用的神经元被发现

131. 清新研究

132. AI幻觉

133. AI幻觉不是故障,而是它的默认风险 AI最危险的不是不会答,而是答得太像真的。

134. 学术写作避坑|AI幻觉致错误引用?这篇保姆级指南救你命

135. 2026AI幻觉深度研究报告

136. AI的“胡话陷阱”

137. 冷星谭

138. 人工智能重塑金融业

139. 什么是「勤勉尽责型 AI」?

140. 周道许

141. AITech智能运维|如何进一步优化金融AI运维的人机协同决策机制?

142. 金融领域人工智能应用的风险与监管应对

143. 大模型从玩具到工具的核心是控制幻觉

144. GPT-5.5幻觉率砍半+全员免费

145. 从3.8%到2.6%,AI医疗幻觉率降低的真相

146. AI幻觉在企业场景中有多致命?有没有可行的解决方案?

147. finLLM-Eval大模型金融场景幻觉专业评测方案

148. Anthropic重磅研究

149. 接受AI的“黑箱”决策?这可能是你企业埋下的最大地雷

150. Decision Analysis | AI说“高风险”,你该照做吗?医疗、军事、赛车、自动驾驶的惊险选择题

151. 如果同一份输入,两次结果不同,它就不该叫「决策系统」

152. 颠覆认知!“AI的机制性固执”是什么?

153. 为什么 Alignment 无法覆盖现实世界的不可逆后果?

154. 为什么真正危险的状态,是系统中没有任何人“在判断”?

155. 国内首例AI“幻觉”案提醒了什么

156. 最新观点 | AI金融进入“自主决策”(Agentic AI 智能体)时代

157. AI提供的信息不靠谱 开发者要担责吗

158. OpenAI也会“一本正经地胡说八道”?3月初,OpenAI发布最新研究报告指出:像ChatGPT这样的大型语言模型,在回答问题时有时会出现“编造信息”的现象。
 这种现象在AI领域被称为“幻觉”。 为什么会出现这种情况? 原因在于,大型语言模型的核心原理,是通过概率预测下一个最可能出现的词。当系统对答案不完全确定时,它有时会进行“合理猜测”,但表达出来的语气却可能非常肯定,因此容易让人误以为信息完全准确。 OpenAI内部测试数据显示,不同代模型的错误率存在明显差异:
 早期模型GPT-1约为16%,GPT-3约为33%,最新的GPT-5高达约48%。
 而在一些复杂推理测试中,新模型虽然能力更强,但仍然无法完全避免错误。 OpenAI表示,如果严格要求模型在不确定时全部回答“我不知道”,可能会有大约30%的问题无法得到答案。 #新闻 #openai #GPT #信息差

159. 面试官三连问:什么是大模型的幻觉?产生幻觉的原因是什么?怎么解决?

160. 解决 AI 幻觉终极方案:定义输入 + 控管流程 + 界定输出,3 步用得安心

161. 如何根治大模型幻觉问题,保障 AI 输出内容 100% 真实可信?

162. 【谈金论策】第132期:当AI走进金融决策:从生成式人工智能到金融智能体的风险治理

163. 案例解析 | 全国首例AI幻觉侵权案宣判!法律划清AI责任边界

164. 百川智能医疗大模型新突破:幻觉率低至2.6%,文献匹配率95%,API价格骤降70%

165. AI幻觉第一案判了--AI幻觉生成导致损失是否需承担法律后果

166. 应对AI幻觉,必看这2个关键原则

167. RAG系统中大模型出现了幻觉,应采取什么措施?

168. 大话AI(3):一次性讲清楚AI大模型检索增强生成(RAG)技术

169. 攻坚“生产级场景”,金融AI迈入深水区

170. TSE'26|超越功能正确性:探究大语言模型生成代码中的幻觉现象

171. 第一百九十一弹:AI“幻觉”会引发哪些法律问题及应对措施?

172. 为什么 AI 会产生“幻觉”?Anthropic 讲清大模型编造信息的原因与应对方法

173. “幻觉”“偏见”藏隐患 医学AI如何守住边界?

174. SCI作者要注意了!期刊正在检测AI幻觉引用

175. 分享的这篇Anthropic的最新研究,为我们理解AI的终极风险提供了一个完全不同于科幻想象的视角结合论文原文解读这项研究的核心发现和重要意义

176. OpenAI甩出GPT-5.5 Instant!幻觉暴降52%,话少三成,全员免费

177. 3·15 警惕AI陷阱,两起法律界AI幻觉解读

178. 千问大模型幻觉太严重了!

179. 第1772期【法律分析】“AI幻觉”侵权:AI虚假生成信息的法律问题探讨

180. 面试官问:什么是幻觉,幻觉的本质是什么? 大模型面试必杀技:这道题90%的人都答不深!💥 "大模型为什么会产生幻觉?怎么解决?" 面试官问这个问题,不是要你背定义,而是要看到你的技术深度和工程思维!🧠 📊 这份8页手绘PPT直接帮你理清:✅ 幻觉的本质:不是"bug",是概率生成本质✅ 四大成因:数据缺口、概率生成、采样策略、缺乏Grounding✅ 核心解法:RAG、解码控制、RLHF、自洽性检查✅ 工程实践:金融医疗零容忍,电商场景平衡体验 💡 面试加分项: 讲清原理(知其所以然) 说透方案(RAG+温度+检测的组合拳) 懂得trade-off(准确性与速度的权衡) 📥 领取这份手绘笔记风PPT,让你的面试回答既有深度又有亮点! #大模型面试 #LLM幻觉 #计算机求职 #面试准备 #七贝编程

181. AI的幻觉,正在改写“真实”的定义

182. 当数据被污染,大模型开始“胡说八道”:从我国数据生态看大模型幻觉的根源与风险

183. 🤯AI其实一直知道自己在撒谎?!抛弃RAG,让大模型“自证清白”的黑科技来了!

184. 从舆情视角谈全国首例生成式AI“幻觉”案风险提示

185. 不要被“AI幻觉”给骗了,这里有破解幻觉的方法(建议收藏)

186. 【技术探讨】大模型的“幻觉”是啥? - 哔哩哔哩

187. AI赋能金融风控,落地中最易踩的技术与合规雷区

188. AI帮你做决策?别被“智能陷阱”骗了!揭秘AI决策的真相与风险

189. 大模型幻觉的本质:潜能场中的无效路径与意识裁决

190. “如果生成内容有误,我将赔偿您10万元”,全国首例因“AI幻觉”引发侵权案宣判

191. Deepseek幻觉率逆袭!新榜单下竟比Gemini Pro还稳

192. 破解“AI 幻觉”!脉景诊疗级中医AI,让开方更精准可靠

193. 别让AI胡说八道,7个方法减少大模型幻觉

194. 案解智法 | 青年AI法律课堂 · 第二讲首例生成式AI“幻觉”纠纷

195. 非结构化数据积压加剧,AI安全风险同步攀升

196. AI幻觉 | 新榜智汇GEO词典

197. 大模型“胡说乱编”怎么解决?中国科学院专家:高质量科学数据是关键

198. 学术写作中如何避免AI幻觉导致的错误引用?

199. 大模型幻觉:分类、成因与检测方法

200. 潜在风险警示:技术依赖与模型失效风险

201. 从AI幻觉到AI投毒再到AI分身:AI正进化人类认知免疫系统(法律风险)

202. GPT-5.5 Instant 网页版实测五场景,它不是更聪明了,是变低调了

203. 大模型内容生成“幻觉”的现象、机理与治理进路——以DeepSeek大模型为视角

204. AI引用文献是假的!研究生必看:如何识别和避免“学术幻觉”

205. AI幻觉风险

206. 大模型幻觉问题,产品经理该怎么兜底?

207. 当AI用幻觉进行欺骗时,人类究竟该如何应对?

0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章