什么值得买App下载 App ›
连续签到专享现金活动

🧠 让扩散模型学会思维链推理

上海人工智能实验室与西安交通大学的研究者提出了 EndoCoT(内生思维链),旨在解决扩散模型在处理复杂推理任务时的局限性。该技术通过在扩散框架中激活多模态大模型的链式推理(Chain-of-Thought)能力,实现了从单步编码到迭代推理的转变。在 Maze、TSP、VSP、Sudoku 等多个复杂推理基准测试中,EndoCoT 平均准确率达到 92.1%,超越最强基线 8.3 个百分点。
01现有方法的结构性缺陷
扩散模型在图像生成方面表现优异,但处理复杂指令(如“画出迷宫路径”或“生成数独题解”)时往往依赖集成的大语言模型。现有流程通常是将文字指令输入大语言模型,输出编码向量后再交由扩散模型生成图像。这种模式存在两个核心缺陷:
  1. 单次编码限制
    大语言模型仅执行一次编码,无法激活 Chain-of-Thought 所需的多轮迭代推理。复杂任务需要逐步拆解,单次编码相当于直接索要答案而缺乏推理过程。
  2. 固定向量约束
    编码生成的“思维向量”在去噪过程中保持不变。扩散模型的理论优势在于每一步去噪都能接受差异化引导,但固定信号导致模型无法在不同阶段进行不同程度的理解。
02EndoCoT 核心原理
EndoCoT 通过引入迭代思维引导模块和终端思维接地模块,重构了隐层思维状态的生成与使用方式:
  1. 迭代思维引导
    大语言模型在向量空间中反复修正隐层表示,而非直接输出文本。通过多轮前向计算,将模糊的思考逐步精炼为明确的方向,形成连续的推理轨迹。
  2. 思维轨迹锚定
    将推理轨迹中每个阶段的状态映射到扩散去噪的不同时间步。去噪过程每一步都接受更精炼的引导信号,从而提升逻辑约束任务(如数独)的执行准确率。
03技术局限与挑战
尽管 EndoCoT 在结构化推理任务中表现优异,但其应用场景仍存在明显边界:
  • 场景适用性受限
    目前评测集中于有明确答案的结构化任务(如迷宫、数独),未验证在开放式生成(如诗意描述作画)中的有效性,且推理质量难以量化。
  • 计算成本高
    迭代思维引导模块需多轮前向计算,显著增加推理时间开销,但论文未对实用性进行充分讨论。
  • 可解释性不足
    隐层思维状态为连续向量,缺乏对“模型推理过程”的可解释性分析,难以直观理解其决策逻辑。

评论

评论区空态插画

当前文章无评论,是时候发表评论了