当前UI智能体在执行复杂任务时面临挑战，难以仅靠语言指令精确理解。一个开源项目提出了解决方案：通过录制并学习人类操作，将工作流抽象为结构化技能，从而训练出更稳定、更符合实际场景的数字员工，显著提升了任务执行的准确性。
智能速览
UI Agent痛点在于难以仅凭语言指令执行非标准SOP任务。
开源方案通过录制与学习人类操作，将工作流转化为结构化技能。
该方案使用VLM模型将操作解析为观察、思考、行动、预期的JSON轨迹。
在OSWorld基准测试中，该方法的成功率达到了60%。
将此教学法与更优执行框架（如Agent S3）结合，潜力巨大。
精华内容
将模糊的任务指令转化为精准的电脑操作，关键在于如何“教学”。这个开源项目通过模仿人类的学习过程，为AI智能体构建了一套完整的录制、学习、规划与执行体系。
教学的必要性
目前主流的UI Agent倾向于直接理解自然语言任务，然后自主探索操作。这种方式在处理不规范或复杂的标准化操作流程（SOP）时，准确率很低。这如同教一位新员工，仅靠口头告知“点这里、点那里”是无法让他掌握复杂工作的，必须结合图文并茂的演示，才能确保学习效果。录制教学法正是为了解决这一核心痛点而设计。
录制与学习
该框架首先通过一个轻量级的桌面应用录制用户的操作。录制器会同步捕获视频流与键盘鼠标的详细操作记录，并附上时间戳。随后，学习智能体会对原始操作进行预处理，例如合并连续的点击、处理双击防抖等，以提炼出关键操作步骤。为了让视觉模型（VLM）更好地理解，系统还会对点击位置进行截图放大，并用半透明红叉标记。最后，VLM将这些处理后的图像和操作信息，转化为结构化的JSON格式教学轨迹。
技术解析与效果
生成的教学轨迹以JSON格式存储，每一步都包含“观察”、“思考”、“行动”和“预期”四个部分，清晰地描述了操作逻辑。在接到新任务时，规划智能体会加载相关的教学轨迹进行计划，再由执行智能体完成具体UI操作。在标准的OSWorld测试基准中，该方法取得了60%的成功率，表现优于许多同类方案。虽然其执行框架的性能不及Agent S3等顶尖模型（S3约为69.9%），但其教学思想的价值非常高。
未来的可能性
这个开源项目最大的贡献在于其“录制-学习”模块，而非执行系统本身。如果将这种高效的教学方法与Agent S3等性能更强的框架相结合，有望产生协同效应。Agent S3通过反思机制提升表现，而该方法通过人类教学提升起点。两者叠加后，AI在单次测试中的成功率很可能超越人类平均水平，从而真正将AI从一个有趣的“玩具”转变为能在实际工作场景中稳定输出价值的数字员工。
通过录制操作来“教会”AI，不仅是一个技术上的创新，更是迈向实用型数字员工的关键一步。它让AI能够深度适配特定工作场景，将智能体从实验室的“玩具”转变为能稳定产出的生产力工具。当这种教学法与更强的执行框架结合，未来的工作方式或许将被重新定义。
