大模型回答的不确定性一直是痛点。美国东北大学团队提出的CNTP策略，无需重新训练，仅通过改进解码方式就能显著提升推理准确性。这一“免费午餐”式的方案，为提升模型逻辑能力提供了新思路。
智能速览
CNTP策略通过在高不确定性步骤采样多条路径提升推理准确率
该方法受人类认知启发，以困惑度最低原则选择最优路径
CNTP无需训练即可直接应用，兼容性强且计算成本可控
实验显示该策略在数学和常识推理任务中显著优于传统解码方法
精华内容
如何让大模型像人类一样深思熟虑？这种名为“谨慎下一步预测”的解码策略，或许给出了答案。
灵感来源
大模型在回答相同问题时常给出不同答案，这种不确定性反映了推理的不稳定性。传统解码策略中，随机采样虽灵活但不够稳定，贪婪解码虽在基准测试中表现较好，但在不确定情况下仍不理想。研究团队受人类认知行为启发，认为人在解题时会先构想多种解法，挑选最稳妥的确认后继续下一步。这种“谨慎”的思考模式被引入大模型，旨在通过多路径尝试提升回答的准确性。
运行机制
CNTP策略的核心在于利用熵衡量模型的不确定性，当熵值较高时，模型会采样多个候选路径，并选择其中困惑度最低的一条作为下一步的输入。为了解决思维链推理中回答长度不一的问题，研究采用按句子标点符号截断的方式计算局部困惑度。此外，通过设置最小和最大熵阈值及最大试验次数，该方法在提升准确性的同时有效控制了计算成本，避免了无限制的资源消耗。
性能提升
在数学推理、常识推理和开放问答等任务的实验验证中，CNTP策略表现出显著优势。以Llama-2-7B模型在TruthfulQA任务为例，使用CNTP后真实性准确率提升至84.8%，比随机解码高出6.8%。相较于传统的贪婪解码、随机解码和束搜索方法，CNTP在多项指标上均实现了超越，证明了其在提升模型推理能力方面的有效性。
兼容拓展
CNTP策略无需对模型进行额外训练，被称为“免费午餐”，即插即用。该方法不仅能单独使用，还能与自一致性策略结合，进一步提升性能且成本更低。其普适性使其适用于广泛的对话任务，除了数学和代码等固定答案问题，未来还将尝试应用于图像或视频生成领域，为大模型的推理优化提供了新的方向。
无需训练即可提升模型智能，CNTP策略为解码算法的优化开辟了新路径。随着技术在多模态领域的拓展，未来大模型能否真正像人类一样“三思而后行”？值得期待。
