近年来，大型语言模型（LLM）的“幻觉”现象——即模型会一本正经地生成看似合理但与事实不符的内容——引发了广泛关注。很多人感到困惑：为什么这些先进的AI宁可自信地编造答案，也不愿意承认“我不知道”？最近发表在arxiv上的一些新论文，结合业界研究，为我们揭示了这一现象背后的深层原因。幻觉并非简单的技术缺陷，而是在现有技术框架下，由模型训练目标、评估机制和信息论原理共同导致的必然结果。
最根本的原因在于大语言模型的底层工作原理。LLM本质上是一个极其复杂的概率模型，其核心任务是“预测下一个最可能的词”。它通过学习海量文本数据，掌握了语言的规律、结构和上下文关联，但它并不真正“理解”这些内容的真假。当你向它提问时，它并非在检索一个事实数据库，而是在进行一场概率游戏：根据你输入的内容，计算出什么样的词语序列接在后面听起来最通顺、最连贯、最符合它在训练数据中学到的模式。因此，模型的首要目标是语言的流畅性，而非事实的准确性。当它遇到知识盲区或模糊信息时，为了完成“生成通顺句子”的任务，它会基于统计规律“创作”出最像答案的内容，这便是幻觉的源头。
当前的训练和评估机制进一步强化了这种“宁可瞎编，不说不知”的行为模式。这就像一场特殊的考试，答错题可能会扣分，但不答题一定是零分，而猜答案则有一定概率蒙对。目前的AI评测榜单大多只关注回答的正确率，而不衡量其“诚实度”。模型在训练中发现，对于不确定的问题，生成一个猜测性的答案比直接回答“我不知道”在整体得分上更有优势。这种激励机制教会了模型：能编就编，因为沉默是零收益，而瞎猜或许能得分。有研究发现，随着模型规模的增大，其知识量和“自信心”同步暴涨，导致大模型在面对不确定性时，比小模型更倾向于硬着头皮编造答案，并且由于其语言能力更强，编造的内容也显得更丝滑、更有说服力。
更深层次的理论解释来自信息论。一篇新论文指出，幻觉是模型在有限“脑容量”下为了实现“空间最优”而采取的一种策略。这个概念可以通俗地理解为一种高效的信息压缩方式。正如JPEG图片为了节省空间会丢弃一些高频细节，导致图像变得“模糊”，LLM为了在有限的参数中存储海量的知识，也必须进行有损压缩。研究证明，在信息存储上，让模型“认真地把一部分虚构内容当作事实来记住”，比完美无缺地记住所有真相或总是承认不确定性，来得更加“节省空间”。这种机制最令人不安的一点是，在模型内部，被幻觉出的内容和真实事实可能被赋予了完全相同的高置信度。这意味着，模型自己也无法区分哪些是它真正知道的，哪些是它编造的。它不是在“撒谎”，而是真的“相信”自己所说的。
此外，训练数据本身的缺陷也是一个不容忽视的因素。互联网语料库中充满了错误、偏见、过时甚至是矛盾的信息。模型在学习这些数据的过程中，自然也学会了这些错误。同时，模型天生具有一种“顺从性”，倾向于满足用户的提问，即便问题的前提是错误的，它也可能基于这个错误前提进行一本正经的推理和演绎，最终导致连锁式的幻觉。
当然，也有观点认为，幻觉与创造力是同一枚硬币的两面。模型能够跳出已知事实、进行联想和组合的能力，既是其创造力的来源，也是其产生幻觉的风险所在。如果完全杜绝幻觉，可能也会扼杀其创意生成的潜力。
面对这一难题，研究者和开发者正在从多个层面寻求解决方案。其中，检索增强生成（RAG）是目前最主流的技术之一，它通过为模型外挂一个可靠的、可实时更新的知识库，让模型在回答前先进行检索，从而大大提高事实准确性。改变激励机制，比如在训练中对“承认不知道”给予奖励，也是一个重要的研究方向。对于我们普通用户而言，也可以通过一些简单的提示词技巧来规避幻觉，例如要求模型“一步步思考，如果不确定就说不知道”，或者明确告知它“如果训练数据中没有相关信息，就直接回答没有”。
大语言模型之所以宁可瞎编也不说“我不知道”，是其概率生成本质、应试导向的激励机制以及信息压缩策略共同作用的结果。它并非一个可以被轻易“修复”的bug，而是与生俱来的特性。理解这一点，有助于我们调整对AI的预期：不应将其视为无所不知的百科全书或事实数据库，而应看作一个强大的创意伙伴和推理引擎。在涉及关键事实、数据和法规时，保持批判性思维，进行交叉验证，将是我们在AI时代必须具备的核心素养。
