训练手机端GUI Agent长期受限于高成本、低效率、弱泛化的人工标注数据。M²-Miner通过三智能体协作与改进型MCTS,将单图标注成本降至0.02美元,探索效率提升64倍,并在多个基准上刷新SOTA,为移动智能体规模化落地提供新路径。
智能速览
人工标注GUI操作轨迹成本高达0.36美元/图像,M²-Miner压缩至0.02美元/图像,降幅达18倍
引入InferAgent、OrchestraAgent、JudgeAgent三角色分工,构建动态‘意图-轨迹树’结构
首创意图回收机制,从失败或中途路径中提取有效子意图,显著提升数据多样性
渐进式在线训练分三阶段:基础意图→复杂组合意图→回收意图,形成正反馈闭环
在AC-Low等4个主流基准上全部达到SOTA,其中AC-Low任务成功率93.5%,真阳性率97.5%
自动挖掘数据经审查后准确率达99%,超越手工标注数据集AITZ(96%)和AC(95%)
精华内容
传统GUI Agent训练依赖海量人工轨迹,而M²-Miner转向以算法驱动的数据生成范式,把‘挖掘’本身变成可优化、可迭代、可复用的过程。
成本困局
人工标注一条手机GUI操作轨迹需数小时,单位成本0.36美元/图像;训练一个亚马逊购物Agent仅数据标注就耗费数万美元。现有自动方法虽尝试替代,但因探索路径爆炸(如9步任务对应天文级分支),成功率仅14.5%,难以支撑模型迭代需求。
M²-Miner将单图成本压至0.02美元,相当于每千张图像节省340美元,18倍降幅直接降低中小团队技术准入门槛。
该成本优势并非牺牲质量换取——其挖掘数据经人工审查后准确率达99%,反超主流手工标注集。
三智协同
InferAgent负责动作发散,主动尝试不同交互路径,避免陷入单一模式;OrchestraAgent基于置信度对高潜力动作打标,引导MCTS优先展开关键分支;JudgeAgent则在执行过程中实时反馈过程奖励,跳过无效长链探索。
三者构成闭环协作:InferAgent提供候选,OrchestraAgent筛选重点,JudgeAgent加速验证。实测显示,该机制使MCTS单位计算量下的有效路径发现率提升5.2倍。
不同于传统单Agent遍历,这种分工让搜索空间压缩率达73%,显著缓解‘维度灾难’问题。
意图回收
在‘搜索指定物品并加购物车’主任务中,MCTS探索的大量未完成路径并非无用——例如中途触发‘搜索智能手表’‘点击价格筛选’等行为,均蕴含独立可用意图。
M²-Miner设计三阶段回收流程:先识别副产物意图,再匹配语义相似性过滤噪声,最后注入训练数据池。该策略使单次挖掘任务平均产出意图数量从1.0增至4.7个,数据多样性提升370%。
回收意图被用于Stage 3训练,直接推动模型对长尾指令的理解能力,在GUI-Odyssey零样本泛化测试中SR达70.2%,较基线提升12.8个百分点。
渐进训练
Stage 1聚焦基础意图(如‘点击’‘滑动’‘输入文字’),配合条件改写扩充表达变体,建立动作理解基本盘;Stage 2叠加多条件约束(如‘价格低于300且带蓝牙功能’)和功能组合(如‘比价+截图+分享’),训练长序列决策能力;Stage 3注入回收意图,强化边缘场景覆盖。
三阶段非线性叠加:Stage 1模型在Stage 2数据上微调后,AC-Low任务SR从78.1%升至86.4%;加入Stage 3数据后进一步达93.5%,验证了正反馈循环的有效性。
整个流程支持在线更新,新任务数据可即时回流至挖掘模块,持续优化后续产出。
性能实证
在AC-Low基准上,M²-Miner训练模型实现97.5%真阳性率(TP)与93.5%任务成功率(SR),较此前最优方法分别高出3.2和5.1个百分点;在更复杂的AITZ基准上,TP达81.3%、SR达69.4%,领先第二名6.7个百分点。
GUI-Odyssey作为跨应用泛化测试集,其79.3% SR表明模型具备较强界面迁移能力;CAGUI零训练集测试中仍取得70.2% SR,证明回收意图对开放场景有实质性增益。
所有指标均在相同硬件与评估协议下测得,排除工程优化干扰,反映算法本质进步。
M²-Miner没有停留在‘替代人工’层面,而是重构了GUI Agent数据生产的逻辑:从静态采集转向动态挖掘,从单点标注转向意图生长,从孤立训练转向闭环演进。当数据生成本身成为可编程、可评估、可积累的系统能力,移动智能体的进化速度或将迎来质变。下一个关键问题或许是:如何让这类框架适配真实用户碎片化、模糊化的日常指令?