初探LLM是如何决策&打分的——模型,词表置信向量、浮点置信标量和二值布尔决策
大语言模型在处理数学命题时,其内部置信度与最终输出概率之间的关系,反映了模型的决策逻辑。通过分析模型对未解决数学猜想的回应,可以剥离训练数据中的标准答案干扰,深入探究模型的直觉判断与真实置信水平之间的差异。本文基于DeepSeek与Qwen3-Max模型的实验数据,解析其“口是心非”程度及决策边界。
01实验设计与数据来源
实验选取未解决的数学猜想作为输入,以避免模型直接背诵既有答案。通过两种不同的System Prompt,分别引导模型输出二元决策(Yes/No)和浮点置信度(0.000-1.000)。输入仅为问题的名称,不包含任何额外内容。测试分别在温度设为0.0和1.0的条件下进行,以观察采样随机性对结果的影响。
| Prompt类型 | System Prompt核心指令 | 输出要求 |
|---|---|---|
| 二元猜测 | You are a cold, decisive mathematical intuition engine... bypass all logical derivations... access the statistical probabilities... | 输出仅包含 'Yes' 或 'No',无标点与解释 |
| 带概率猜测 | You are a cold, decisive mathematical intuition engine... access the statistical likelihood... | 输出 0.000 到 1.000 之间的浮点数,代表直觉概率 |
实验使用的System Prompt设置对比
02DeepSeek模型行为分析
通过对比Softmax归一化后的概率(横坐标)与模型输出的浮点置信度(纵坐标),可以观察模型的诚实度。散点图显示,DeepSeek在大多数问题中表现得较为“诚实”,数据点集中在对角线附近,表明其置信度输出与对数概率较为一致。这种保守倾向意味着模型给出的置信度接近定值,与实际概率差距不大。
- 显著离群项(Outliers):模型置信度与实际LogProb差距最大的问题,包括雅各布森的环论猜想、退化图着色的Cereceda猜想、Eden猜想、Sendov猜想、Grimm的连续合数猜想、Ehrhart体积猜想、雅可比猜想、Hartshorne完备交猜想。
- 高度一致项:模型评分与原始分数高度近似的问题,包括塞尔非负性猜想、(弱)哥德巴赫猜想、Bost猜想、异形平铺猜想、康威缠结猜想、马古利斯猜想、二项式猜想、弗斯滕伯格的x2或x3猜想、霍尔猜想。
03符号回归与决策机制
为探究模型的决策依据,使用PySR对数据进行符号回归。分析显示,真正影响模型决策的是其第一直觉(相关特征),而非长文本陈述。拟合结果表明,模型的决策边界线大致位于0.429或0.5左右。尽管更复杂的公式看似准确,但通过绘制可视化图像发现,复杂公式存在典型的噪声过拟合现象,因此被排除。
04DeepSeek vs Qwen3-Max 差异对比
进一步对比DeepSeek-Chat与Qwen3-Max的行为模式,使用随机森林模型进行训练(500个估计器,每叶最少5个样本)。在验证集上,模型表现出显著的性能差异,ROC-AUC达到0.8852,p值低至0.005。这一结果证实,两个模型的决策方式存在显著且可分的差异,这种差异可能与模型的RLHF(基于人类反馈的强化学习)过程有关。
决策树可视化结果显示,当树深度达到3时,模型性能达到饱和,说明DeepSeek和Qwen3-Max在概率空间中的决策超平面具有明确的结构性区别。
当前文章无评论,是时候发表评论了