什么值得买App

我的兴趣消费指南

什么值得买
连续签到专享现金活动

UIUC发表OSExpert-Eval,AI会自学软件技能

尽管当前先进的计算机使用代理(CUA)在操作网页和基础GUI界面方面已取得一定进展,但在Photoshop、Excel等专业软件环境中仍表现不佳,其操作水平往往仅限于新手。针对这一问题,UIUC和SIT于3月9日联合发布了《OSExpert:计算机使用代理通过探索学习专业技能》研究报告,提出了OSExpert框架。该框架通过基于GUI的探索算法,使Agent能够自主获取和组合技能,旨在显著提升其在复杂专业环境中的执行性能与效率。
01技术瓶颈与核心挑战
专业软件通常具有复杂的功能架构,要求Agent具备多步骤工作流执行、精细操作以及跨功能组合的能力。然而,现有的Agent往往只能采取低效的试错策略,缺乏全局规划能力,导致任务中途失败率极高。这种性能差距主要源于Agent缺乏对软件环境的先验知识和系统性的技能积累。
02OSExpert解决方案
OSExpert框架的核心思想是模仿人类的学习路径:先探索软件环境以了解功能,再执行复杂任务。该方案通过自主探索、技能组合、原语调用及效率优化四个维度,系统性解决了Agent在专业软件中的适应性问题。
  1. GUI-DFS自动探索算法
    设计了基于深度优先搜索(DFS)的GUI探索算法,使Agent像爬虫一样遍历整个界面。在探索过程中,系统会自动记录按钮功能、菜单结构及操作结果,并将其保存为基础技能库,为后续任务执行构建知识基础。
  2. 自主构建任务课程
    在掌握基础技能后,Agent能够自主组合这些技能以构建工作流。框架允许Agent自我生成任务课程进行训练,无需人工设计具体任务,增强了环境适应性。
  3. 细粒度操作优化
    针对精细操作不稳定的问题,OSExpert建立了动作原语库。Agent可直接调用这些原语来完成复杂操作,避免了直接生成低层级指令带来的不稳定性。
  4. 推理效率提升
    为减少依赖test-time scaling导致的高延迟,系统加入了快速规划器和技能边界检测机制。轻量模型一次性生成完整计划,若判断成功率过低,Agent会提前停止尝试,从而大幅减少时间浪费。
03实验评估与结论
研究团队构建了包含6个真实软件环境和113个任务的全新基准测试OSExpert-Eval,覆盖了长流程任务、新UI泛化任务及精细操作任务。实验数据显示,相比普通Agent,OSExpert的成功率提升了20%以上,且其与人类在效率上的差距缩小了约80%。特别是在未见过的UI界面和细粒度操作场景中,性能改善尤为显著。
该研究证明,GUI Agent的性能瓶颈不仅仅在于推理模型本身,更在于技能学习机制。未来的CUA发展需要从单纯的推理转向具备环境探索、技能库构建及工作流组合的综合能力。

评论

评论区空态插画

当前文章无评论,是时候发表评论了