张大妈

通过合成数据,让LLM学会复杂工具调用!

源自小红薯:王哥儿

01-18 18:07

大模型在学会使用外部工具时,常面临高质量训练数据匮乏的瓶颈。一种名为InfTool的新框架通过多智能体角色扮演和闭环自进化,完全无需人工标注即可合成海量高质量工具调用数据。该方法将一个32B模型的工具使用准确率从19.8%提升至70.9%,为解决数据稀缺问题提供了极具前景的新思路。

通过合成数据,让LLM学会复杂工具调用!智能速览

  • InfTool框架实现完全自动化,无需人工标注数据。

  • 将32B模型工具调用准确率从19.8%提升至70.9%。

  • 性能提升258%,效果媲美Claude-Opus等顶级模型。

  • 在多轮对话、并行调用等复杂场景下优势显著。

  • 核心技术是多智能体角色扮演与闭环自进化。

通过合成数据,让LLM学会复杂工具调用!精华内容

InfTool的成功并非偶然,其背后是一套精密的多智能体协作与自我进化流程。这套流程从定义工具开始,经过冷启动、迭代优化和复杂场景模拟,最终实现了数据生成的闭环,具体可分为七个关键步骤。

从零开始

流程始于将原始API构建为标准化的工具定义,这是模型理解工具的基础。随后,通过冷启动监督微调,让模型初步掌握基本的工具调用规则。这一阶段的目标是为后续的自进化过程提供一个具备基础能力的初始模型,避免从完全随机状态开始,确保了训练起点的稳定性和效率。

评估与优化

模型通过滚动评估来生成和分类样本,从而识别出模型的优劣表现。接着,采用混合门控奖励优化算法进行训练。该算法不仅奖励正确的工具调用,还能根据任务的复杂度和一致性进行精细化调整,使模型在简单和复杂任务上都能获得均衡的提升,实现高效的能力增长。

复杂场景模拟

这是框架的核心创新所在。通过引入用户、智能体和服务器三个角色的多智能体扮演,系统自动生成复杂且真实的对话轨迹。这种模拟能够创造出人类难以大规模构造的、包含多轮交互、错误修正和并行工具调用的复杂场景,极大地丰富了训练数据的多样性和深度,让模型学会应对真实世界的复杂需求。

自我反思过滤

生成的大量轨迹数据并非全部可用。框架通过自我反思机制进行严格的质量过滤,自动剔除那些逻辑不通、低质量或无效的合成数据。这一步确保了只有高质量、高信息量的样本才会进入下一轮训练,形成了一个数据质量持续提升的正向循环,是模型能力能够稳定进化至高水平的关键保障。

InfTool框架通过闭环自进化,为解决大模型工具调用的数据瓶颈提供了自动化、可扩展的解决方案。其性能的巨大飞跃证明,合成数据在特定领域的潜力甚至可以媲美真实数据。当AI能够自主生成学习材料并持续自我进化时,我们距离构建真正的通用人工智能助手是否又近了一步?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章