浙江一名3岁孩子咳喘就医，医生考虑是哮喘并发肺部感染，建议做胸部X线。家长因为AI给出的判断和医生不同，拒绝检查，带孩子回了家。几天后再来，孩子已经是重症肺炎。
这条新闻最扎人的地方，不是"AI又错了"，而是家长在做决定的那一刻，根本没有办法知道AI错在哪。医生建议进一步检查，恰恰是因为仅凭已有信息还不能把病情判断清楚。工人日报
我们去找AI，往往就是因为自己不懂。不懂才要问；可不懂，也就没有能力判断它答得对不对。这是一个绕不开的悖论。
先说一层最基础的：大模型不是在查资料，它是在预测下一个词。它见过大量"根据某法第某条"的写法，就顺着这个套路往下写；它并不知道这条法有没有废止、这个判例存不存在。当前主流的大模型多基于概率统计，模型倾向于选择出现概率较高的词汇和语句组合，而这并不一定代表真实或准确的信息。人民网
所以AI的错误有固定的样子。它会编出案号、法院、裁判时间都齐全的判例，会把已经废止的法规当成现行法，会漏掉你没问但很关键的条件。更麻烦的是，它说错的时候和说对的时候一样流畅、一样有条理、一样专业。 人判断可不可信，本来靠语气：吞吞吐吐、前后矛盾，就会起疑。这套本能在AI面前基本失灵。它还会漏掉你没问的东西；答错了还有可能被发现，没说的东西，你永远不会知道。知乎
北京通州法院审结过一起股权代持纠纷。原告代理人庭后提交了两份"参考案例"，一份说是最高法的，一份是上海一中院（2022）沪01民终12345号。两份案例的事实细节、法律争议、裁判逻辑，跟正在审的案子高度契合，完美佐证了原告的主张。 法官拿案号去裁判文书网检索，发现12345那个案号确实存在，但对应的是一起民间借贷纠纷，和股权代持毫无关系；另一份也一样，案号是真的，内容是编的。这两份"完美案例"，是律师让AI找的，他没核实就交了上去。达州司法
假的东西不是漏洞百出，而是比真的更贴合。你提炼的关键词是什么，它就给你什么；事实细节、争议焦点、裁判逻辑，一个不差。知乎
这不是某个律师的疏忽。韩国大法院11月2日公布的调查里，负责民事、家事和行政案件的受访法官中，196人见过不存在的判例被引用，占80.7%。 法官每天的工作就是分辨真伪，仍然会被编造的案号骗过去。普通人凭什么觉得自己能一眼看穿？IT时代网
医疗、法律，两个最不该出错的领域，犯的是同一个错：把"说得像"当成了"说对了"。
这里还有一层更少人讲的底层知识：AI最容易显得聪明的地方，是结果可以被低成本验证的地方。数学证明可以一步步检查，AI就能同时试几百条路，再用一个能自动判对错的检查器把错的淘汰；所以它在数学上看起来像超人。可现实生活里，大多数任务没有这样的检查器。AI写文书，你没法同时投递一万家学校，看看哪些反馈好的留下，哪些反馈不好的扔掉。 医疗和打官司其实都有检查器：拍片、查裁判文书网。问题不是没有检查器，是人在答案最顺的时候，忘了去按那个按钮。知乎
所谓底层知识，不是让你去学模型架构。它至少包括三件事：知道AI在预测词而不是查事实；知道它越贴合越可疑；知道你的领域里该去哪里验证。
具体怎么做？先把长答案拆成一句句可以查的主张，再打开对应原文。 法条去国家法律法规数据库，判例去中国裁判文书网，政策去发布部门官网；看是谁发布的、什么时候生效、适用于什么条件。数字、日期、专有名词、“全部”"一定"这类词，都是重点。链接只是入口，页面存在，不等于旁边的结论成立。小红书
再换个问法、问几个不同的AI，也只能帮你发现它可能不可靠。同一模型答两遍一致，不算两份独立证据。
验证不了的事，别把决定交出去。了解概念、起草初稿、整理思路，AI可以帮忙；涉及钱、期限、健康、法律责任，去找能对结果负责的人。AI最合适的角色，是帮你把问题问清楚，而不是替你下结论。
下次AI给你一个特别顺的答案，先别急着信。问自己一句：我有没有办法证明它错了？如果答案是"没有"，那它给的就不是答案，是一个你暂时看不见的坑。
