张大妈

M²-Miner:多智能体+MCTS挖掘GUIAgent数据

源自小红薯:AgenticWeb

02-11 11:52

训练手机端GUI Agent长期受限于高成本、低效率、弱泛化的人工标注数据。M²-Miner通过三智能体协作与改进型MCTS,将单图标注成本降至0.02美元,探索效率提升64倍,并在多个基准上刷新SOTA,为移动智能体规模化落地提供新路径。

M²-Miner:多智能体+MCTS挖掘GUIAgent数据智能速览

  • 人工标注GUI操作轨迹成本高达0.36美元/图像,M²-Miner压缩至0.02美元/图像,降幅达18倍

  • 引入InferAgent、OrchestraAgent、JudgeAgent三角色分工,构建动态‘意图-轨迹树’结构

  • 首创意图回收机制,从失败或中途路径中提取有效子意图,显著提升数据多样性

  • 渐进式在线训练分三阶段:基础意图→复杂组合意图→回收意图,形成正反馈闭环

  • 在AC-Low等4个主流基准上全部达到SOTA,其中AC-Low任务成功率93.5%,真阳性率97.5%

  • 自动挖掘数据经审查后准确率达99%,超越手工标注数据集AITZ(96%)和AC(95%)

M²-Miner:多智能体+MCTS挖掘GUIAgent数据精华内容

传统GUI Agent训练依赖海量人工轨迹,而M²-Miner转向以算法驱动的数据生成范式,把‘挖掘’本身变成可优化、可迭代、可复用的过程。

成本困局

人工标注一条手机GUI操作轨迹需数小时,单位成本0.36美元/图像;训练一个亚马逊购物Agent仅数据标注就耗费数万美元。现有自动方法虽尝试替代,但因探索路径爆炸(如9步任务对应天文级分支),成功率仅14.5%,难以支撑模型迭代需求。

M²-Miner将单图成本压至0.02美元,相当于每千张图像节省340美元,18倍降幅直接降低中小团队技术准入门槛。

该成本优势并非牺牲质量换取——其挖掘数据经人工审查后准确率达99%,反超主流手工标注集。

三智协同

InferAgent负责动作发散,主动尝试不同交互路径,避免陷入单一模式;OrchestraAgent基于置信度对高潜力动作打标,引导MCTS优先展开关键分支;JudgeAgent则在执行过程中实时反馈过程奖励,跳过无效长链探索。

三者构成闭环协作:InferAgent提供候选,OrchestraAgent筛选重点,JudgeAgent加速验证。实测显示,该机制使MCTS单位计算量下的有效路径发现率提升5.2倍。

不同于传统单Agent遍历,这种分工让搜索空间压缩率达73%,显著缓解‘维度灾难’问题。

意图回收

在‘搜索指定物品并加购物车’主任务中,MCTS探索的大量未完成路径并非无用——例如中途触发‘搜索智能手表’‘点击价格筛选’等行为,均蕴含独立可用意图。

M²-Miner设计三阶段回收流程:先识别副产物意图,再匹配语义相似性过滤噪声,最后注入训练数据池。该策略使单次挖掘任务平均产出意图数量从1.0增至4.7个,数据多样性提升370%。

回收意图被用于Stage 3训练,直接推动模型对长尾指令的理解能力,在GUI-Odyssey零样本泛化测试中SR达70.2%,较基线提升12.8个百分点。

渐进训练

Stage 1聚焦基础意图(如‘点击’‘滑动’‘输入文字’),配合条件改写扩充表达变体,建立动作理解基本盘;Stage 2叠加多条件约束(如‘价格低于300且带蓝牙功能’)和功能组合(如‘比价+截图+分享’),训练长序列决策能力;Stage 3注入回收意图,强化边缘场景覆盖。

三阶段非线性叠加:Stage 1模型在Stage 2数据上微调后,AC-Low任务SR从78.1%升至86.4%;加入Stage 3数据后进一步达93.5%,验证了正反馈循环的有效性。

整个流程支持在线更新,新任务数据可即时回流至挖掘模块,持续优化后续产出。

性能实证

在AC-Low基准上,M²-Miner训练模型实现97.5%真阳性率(TP)与93.5%任务成功率(SR),较此前最优方法分别高出3.2和5.1个百分点;在更复杂的AITZ基准上,TP达81.3%、SR达69.4%,领先第二名6.7个百分点。

GUI-Odyssey作为跨应用泛化测试集,其79.3% SR表明模型具备较强界面迁移能力;CAGUI零训练集测试中仍取得70.2% SR,证明回收意图对开放场景有实质性增益。

所有指标均在相同硬件与评估协议下测得,排除工程优化干扰,反映算法本质进步。

M²-Miner没有停留在‘替代人工’层面,而是重构了GUI Agent数据生产的逻辑:从静态采集转向动态挖掘,从单点标注转向意图生长,从孤立训练转向闭环演进。当数据生成本身成为可编程、可评估、可积累的系统能力,移动智能体的进化速度或将迎来质变。下一个关键问题或许是:如何让这类框架适配真实用户碎片化、模糊化的日常指令?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章