张大妈

Agent ReAct框架存在缺陷?微软提出RE-TRAC

源自小红薯:ohhhh的AI笔记

02-27 11:53

当前主流的LLM Deep Research Agent大多基于ReAct框架,但其线性设计存在无法回溯、缺乏全局观和重复检查三大缺陷。微软提出的RE-TRAC框架通过递归式轨迹压缩技术,让Agent具备跨轨迹反思与全局规划能力,显著提升了深度研究的效率和准确性。

Agent ReAct框架存在缺陷?微软提出RE-TRAC智能速览

  • ReAct框架存在无法回溯、缺乏全局观、重复检查三大缺陷

  • RE-TRAC通过递归式轨迹压缩实现跨轨迹全局规划

  • 结构化状态表示包含答案锚点、证据链和待办清单三大模块

  • 支持多轮递归执行,每轮基于压缩状态重新规划

  • 跨轨迹探索机制避免过早坍缩到单一路径

  • 通过SFT训练让小模型掌握跨轨迹规划能力

Agent ReAct框架存在缺陷?微软提出RE-TRAC精华内容

传统ReAct框架的线性搜索模式已成为Agent深度研究的瓶颈,而微软的RE-TRAC框架通过创新的轨迹压缩技术,为AI Agent带来了真正的全局思考能力。

核心思想

RE-TRAC的核心理念是将每一次独立的搜索轨迹压缩成结构化状态表示,并以此作为后续搜索的条件输入。这种方法实现了跨轨迹的全局反思与规划,突破了传统线性搜索的局限。

核心公式为:新状态 = 压缩(当前轨迹 + 上一轮状态, 压缩规范)。通过这种递归式的状态更新,Agent能够在每一轮搜索中都站在全局视角进行决策。

状态表示结构

RE-TRAC的状态表示包含三个关键模块:Answer & Analytical Conclusions锚点记忆模块存储当前最佳局部答案和关键推断结论,确保重要发现可重用;Evidence Base & Source Verification证据链模块记录已验证证据和来源出处,有效减少重复工具调用;Uncertainties & Exploration Trace待办清单模块追踪未解决假设、候选分支和失败尝试,避免重走歧路。

这种结构化设计让Agent能够系统性地管理研究过程中的所有信息。

多轮执行流程

RE-TRAC采用多轮递归执行机制。初始轮执行推理和工具调用生成轨迹;随后将该轨迹压缩成结构化状态S1;将S1预加载到下一轮上下文中,引导新的搜索策略;不断迭代循环直至任务完成。

每轮执行都基于压缩后的状态重新规划,而非简单延续上轮,这种设计确保了探索的广度和深度。

跨轨迹探索优势

跨轨迹探索机制是RE-TRAC的核心优势所在。通过每轮基于压缩状态重新规划,未完成的分支会被明确保留并在后续轮次执行,有效避免探索过早坍缩到单一路径。

这种机制显著提高了搜索覆盖率,减少了冗余操作,让Agent能够真正进行全面的深度研究,而不是浅尝辄止。

训练优化方法

小模型往往无法通过提示词直接掌握跨轨迹规划能力。RE-TRAC提出RE-TRAC-aware SFT解决方案,使用强模型生成带状态表示的轨迹数据,对小模型进行监督微调。

数据生成基于实体树方法构建大量问答对进行训练,确保模型能够真正理解和应用跨轨迹规划的核心思想。

RE-TRAC框架的提出标志着AI Agent深度研究能力的重要突破,其递归式轨迹压缩和跨反思机制为解决复杂研究任务提供了新思路。随着这一技术的不断优化和普及,未来的AI Agent或许能够真正像人类研究者一样进行系统性、全局性的深度探索。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章