传统观点认为 LLM 仅是逐词预测，但其内部远比这复杂。一项新研究揭示，模型在输出第一个字前，已在隐藏层规划好全局。这不仅深化了对大模型“思考”过程的理解，也为提升其可控性提供了新方向，对科研与应用落地具有重要意义。
智能速览
LLM 存在“涌现式回答规划”现象，颠覆了逐词预测的传统认知。
模型在生成前已在隐藏层编码了关于未来回答的全局属性。
通过探测器可精准预测回答长度、推理步数等结构信息。
甚至能提前锁定内容选择（如故事角色）与回答的信心度。
模型越大，这种全局规划能力越强，符合缩放定律。
模型的“潜意识”比其显式自我评估包含更准确的规划信息。
精华内容
这项研究的突破点在于，它没有设计新模型，而是巧妙地“刺探”了现有模型的内心世界，发现了一个被长期忽视的秘密。
规划的发现
长期以来，大模型被视为一个“近视”的逐字生成器，其输出过程充满不确定性。然而，上海人工智能实验室的一项研究提出了颠覆性的“涌现式回答规划”概念。该研究指出，当模型接收指令后，其内部的隐藏表示并非混沌一片，而是早已开始为整个回答进行系统性规划，为后续的逐字输出绘制了蓝图。
这种规划能力是模型在训练中自然涌现的，而非被显式设计的，这为我们理解其智能的本质提供了新视角。
结构属性的预演
研究通过简单的多层感知机探测器发现，模型在开口说话前，已对回答的宏观结构有了清晰规划。例如，在解答数学题时，模型能预先确定所需的推理步骤；在自由生成文本时，其隐藏状态已能高精度地预测出最终回答的长度。
这种对结构属性的预先编码，是模型拥有规划能力的直接证据，也解释了为何某些模型的输出结构感和逻辑性更强。
内容与行为的锁定
更令人惊讶的是，这种规划能力不止于结构。在创意写作任务中，模型在动笔前就已选定了故事的主角动物；在回答选择题时，正确答案的信息也已在早期隐藏层中占据主导。
此外，模型对自己答案的信心以及是否符合事实等行为属性，同样可以在生成初期被探测出来，准确率远超模型自身的显式预估，表明其内部“所想”比“所说”更可靠。
模型越大，预谋越深
研究证实，模型的“全局规划”能力遵循缩放定律——模型规模越大，这种能力越强，预测的准确率也越高。这一发现意味着，未来的更大模型可能会拥有更复杂、更精妙的内在规划机制。
一个有趣的发现是，模型的“潜意识”（探测器揭示的信息）比其“显式表达”（模型自我评估）更为诚实和准确，为我们评估和理解模型的真实能力打开了新窗口。
这项研究为理解 LLM 的内在机制提供了一个全新的、可验证的视角。它揭示了逐字生成表象之下的深层规划逻辑，这对于提升模型输出的可控性和可靠性至关重要。未来，我们能否利用这种规划能力，让大模型更精准、更安全地完成任务？这无疑是一个值得探索的方向。
关键评论
有评论指出，这种提前规划的能力或许是模型在后训练阶段固化下来的偏好，基于 Prompt 的隐藏层能预测推理长度是合乎逻辑的。
这项研究或许能解答一个常见疑问：LLM 在打出某个词时，是否已提前决定了下一个词？
有读者联想到 Anthropic 对 Claude 写诗时提前规划的探究，认为两者思路相似。
也有人提出，这是否意味着去年已有类似的研究成果，引发了关于研究时效性的讨论。
