什么值得买App下载 App ›
连续签到专享现金活动

做一遍比说清楚更容易!OpenAI新功能让AI通过看你的演示学会工作流

01功能定位:把演示变成可复用技能
Codex Record & Replay 是 OpenAI 于 2026 年 6 月 18 日在 Codex 桌面端推出的新功能,中文可译为"录制与回放"。根据 OpenAI 官方文档描述,该功能的核心理念是"通过演示进行教学"(Teach by Demonstration):用户在 Mac 上完成一次工作流程演示,Codex 会观察并记录整个操作过程,随后将其整理成一份可复用的 Skill(技能)文件。下次遇到类似任务时,Codex 可以直接调用这份 Skill,自动完成整套流程,而无需用户重新描述每一步操作。

从功能定位来看,Record & Replay 主要面向那些"步骤固定但难以用文字精确描述"的重复性工作。素材指出,这类工作包括报销填单、视频发布、周期性报表下载、工单创建等,特点是"做一遍比说清楚更容易"。素材进一步强调,传统方式教 AI 做事需要写长篇 prompt,但很多隐性知识(如检查字幕文件后再上传)很难用文字表达,Record & Replay 提供了一条绕过文字描述、直接通过演示传递经验的路径。

需要注意的是,该功能目前仅支持 macOS 系统,且需要开启 Computer Use(计算机使用)能力。素材显示,单次录制最长可达 30 分钟,录制过程中 Codex 会观察鼠标点击、键盘输入、窗口切换等操作细节,但不会录制密码、验证码等敏感信息。
123
02录制内容对比:像素轨迹还是语义意图
Record & Replay 与传统自动化工具最核心的差异,在于"录制内容"的本质不同。素材和素材对此有详细对比:传统 RPA(如 UiPath、影刀、八爪鱼)录制的是 UI 元素的坐标和 CSS 选择器,生成的是确定性脚本,界面位置一旦变化,整个流程就会崩溃;而 Record & Replay 记录的是工作流的语义意图,生成的是自然语言描述的 Skill,执行时 Codex 通过视觉理解识别当前界面状态再决定下一步操作。

素材用一个比喻来解释这种差异:"传统 RPA 更像是'写死的动作脚本',你点哪里,它记哪里,页面稍微变一下,按钮位置变一下,流程可能就断了。"而 Record & Replay "更接近'把操作过程变成一份可读、可改、可继续优化的 Skill'"。素材也指出,传统 RPA 记录的是"像素级重放",Codex 则是"意图级理解",它知道用户要做什么,即使界面布局变化,也能通过 AI 推理找到正确的操作路径。

不过,素材也指出了这种设计带来的确定性差异:传统 RPA 执行可靠性极高,适合企业级大规模批量处理;Record & Replay 的可靠性相对中等,更适合个人或小团队场景。素材补充了一个潜在风险:一次演示只覆盖一条顺利路径,文件已存在、登录过期、表单校验失败等分支不会自动纳入 Skill,需要人工后续补充。
4567
03执行机制对比:脚本回放还是工具组合
在执行阶段,两者的机制也存在显著差异。素材和素材详细拆解了 Record & Replay 的执行链路:当用户调用已生成的 Skill 时,Codex 并非简单重放鼠标点击,而是根据任务选择最合适的执行方式。它可以调动 Computer Use 直接控制桌面应用,像真人一样操作界面;也可以使用 Browser Use 针对 Web 应用进行自动化处理,处理 URL 导航、表单填写、认证流程;还可以调用已连接的插件(如 Google Drive、YouTube、Notion 等),通过 API 直接交互。

素材描述了一个具体案例:上传 YouTube 视频的流程中,Codex 不只记点击顺序,还搞懂了 Private 和 Unlisted 的区别、.mp4 和 .srt 文件的配对逻辑、元数据字段怎么填,甚至能现场处理报错。素材的实测也印证了这一点:用户演示了将文章复制到 Substack 后台、添加订阅按钮的完整流程,Codex 生成 Skill 后首次执行遗漏了订阅按钮,用户反馈后 Codex 检查录像、确认是自己的判断失误,随后在 Skill 中补上了这一步骤,第二次执行就正确完成了。

相比之下,传统 RPA 执行时严格按照预设脚本运行,工具调用方式相对单一,主要依赖 UI 自动化。这种差异使得 Record & Replay 在处理"混合型工作流"(如既有桌面操作又有浏览器操作还有 API 调用)时具有更强的适应性。
891011
04适用场景:哪些工作流适合录制
关于 Record & Replay 的适用场景,多篇素材给出了较为一致的建议。素材总结了三个共同特征:流程稳定、输入会变、成功标准清楚。素材进一步提供了具体的判断标准:"如果能把流程教给一个实习生,并且只需要告诉他'输入是什么、做到什么算完成',那它大概率适合录成 Skill。"

从具体场景来看,素材列举了几类典型应用:周期性报表下载(每月报销、导出周报)、文件归档整理(批量重命名、按规则分类)、内容发布(按固定顺序填标题、上传缩略图)、内部系统操作(创建固定格式工单、录入数据)。素材还提到了多平台视频发布的例子:B 站、YouTube、小红书各自的上传入口、分区、标签策略都不同,每个平台录一个 Skill,发布时给三条指令即可。

对于不适合的场景,素材和素材也给出了明确边界:界面频繁变化的流程、需要强主观判断的决策、涉及支付转账和权限变更的高风险操作、不可逆的数据删除、客户隐私信息处理等。素材更直接地指出,Record & Replay "每次回放都是模型重新决策,同一件事跑两次结果可能不一样,更适合半结构化、需要判断的运营经验型流程",而传统 RPA "同样的输入、同样的结果",更适合"跑十万次不能出错的活"。
122413
05使用流程:四步到七步的完整路径
关于 Record & Replay 的使用流程,不同素材给出了从四步到七步不等的描述。素材给出了最简洁的四步框架:添加插件、在对话里开始录制、结束录制并生成 Skill、下次复用已有 Skill。素材则提供了更详细的七步指南,包括:添加插件、授予录制权限、演示操作、停止录制、自动生成 Skill 文件、检查与优化 Skill、复用执行。

在录制细节上,素材提醒了一个容易被忽略的问题:停止录制后,Codex 可能会"结合你当前的工作流,直接开始修改文件、生成 Skill,甚至把它认为合理的流程写进你的项目里"。这在用户确实想直接生成 Skill 时很方便,但如果用户只是想先了解功能或尚未确定 Skill 的命名与结构,就可能造成意外修改。该素材建议在开始录前先明确边界,比如直接说"这次只观察流程,不要修改任何文件",或者开启 plan 模式让 Codex 先给计划。

素材还强调了录制前的准备工作:建议提前告知 Codex 这次操作的目标、每次会变化的输入(如日期范围、文件名),使用真实数据但避免敏感信息,演示完成后立即停止而不是继续进入无关的清理环节。录制后则需要审查生成的 Skill,至少补充输入参数、前置条件、失败分支和成功标准,上线前用不同输入验证多轮。
231415
06市场定位:替代还是补充 RPA
关于 Record & Replay 是否会取代传统 RPA,多篇素材表达了较为一致的观点:两者是互补关系而非替代关系。素材明确指出"想用 Codex 的 Record & Replay 替代 RPA,简直是做梦",理由是两者定位不同——传统 RPA 追求 100% 确定性执行,适合金融合规、大规模批量处理等场景;Record & Replay 则更适合半结构化、需要判断的运营经验型流程。

素材从市场规模角度分析:传统 RPA 的 ROI 门槛很高,一个项目从流程发现到上线通常需要 4-12 周,只有高频高价值的流程才值得投入。大量"每周做 3 次、每次 5 分钟"的小型重复工作永远进不了 RPA 的优先级队列。Record & Replay 打的就是这个缝隙——创建成本近乎为零,不需要 RPA 开发者,不需要部署平台,把自动化门槛从"企业级项目"拉到了"个人级别"。

素材则从技术演进角度描述了两者的互补性:企业里早就有的 RPA 解决的是"没有 API 所以模拟人点界面"的问题,问题是"太脆";而纯视觉大模型 Agent 虽然更灵活但不稳定,对于报销、审批、发布这类"偶尔聪明不够、必须可控"的流程不够可靠。Record & Replay 站在中间,试图"把一次人类演示,变成一个可编辑的流程说明,再交给 Agent 在合适环境里执行"。
4117
07Skill 治理:可编辑性与长期维护
Record & Replay 生成的 Skill 是一份可读、可检查、可编辑的流程说明文件,而不是黑盒脚本。素材指出,Skill 会说明:什么情况下使用、需要哪些输入、执行步骤是什么、怎么验证结果。这份 Skill 可以让 Codex 在下次任务里读取并执行,而不是简单保存一段视频。

素材详细描述了 Skill 的内部结构:它包含数据源位置(表格在哪、文件在哪)、操作步骤序列(按什么顺序做什么)、每个决策点的偏好(用户习惯怎么选)、验证步骤(做完怎么检查)。Codex 使用渐进式加载管理上下文:先只加载技能的名称、描述和文件路径,只有在决定使用某个技能时才加载完整指令。这意味着用户存储 100 个技能也不会拖慢系统。

然而,素材也指出了 Skill 治理的潜在问题:创建成本降低后可能出现 skill 膨胀——重复、过时、命名不清的 skill 累积,需要团队建立审查和淘汰机制。该素材建议将 skill 纳入版本管理,指定 owner,记录 changelog,定期淘汰。素材则从另一个角度补充:Skill 可以和手动编写的技能完全混用,用户可以在录制生成的技能基础上手动微调,也可以用手动技能补充录制技能的不足。
1691715
08功能局限与风险提示
尽管 Record & Replay 带来了新的自动化思路,但多篇素材也客观指出了其当前阶段的局限性和使用风险。

平台限制方面,素材和素材都提到:目前仅 macOS 可用,排除欧洲经济区、英国和瑞士;Windows 用户暂时无法使用。功能依赖 Computer Use 能力,需要在系统设置中开启 Screen Recording 和 Accessibility 权限。有用户反馈插件安装并授权后仍提示"Record & Replay is not enabled for this user",可能存在服务端 feature flag 控制。

录制质量方面,素材总结了四个主要风险:单次演示只覆盖顺利路径,异常分支不会自动纳入;隐含偏好(如命名规则、字段默认值)不会自动记录;录制依赖窗口内容观察,可能暴露敏感数据;Skill 治理不当会导致膨胀和混乱。该素材建议使用低敏样例数据进行录制,高风险步骤添加人工确认节点。

执行可靠性方面,素材坦承 Record & Replay 的执行可靠性"中等",低于传统 RPA 的"极高"可靠性。对于需要 100% 确定性、可审计、可回滚的核心生产操作,仍不建议依赖 Record & Replay。素材也强调,该功能"更适合半结构化、需要判断的运营经验型流程",而非高重复、高确定性的机械性任务。
34615
09不同视角下的功能评价
围绕 Record & Replay 的价值与定位,不同视角给出了不尽相同的评价。

效率提升视角:素材认为该功能"解决的不是'AI 会不会写',而是更现实的问题:AI 能不能学会你的工作方式",价值在于把重复沟通压缩掉,让 AI 不再每次都从零开始理解任务。素材更直接地指出,很多用户抱怨 AI 效率低"不是因为 AI 不强,而是每次都在做重复动作:重新解释背景、重新说明目标、重新告诉它格式",Record & Replay 提供了把这些重复沟通压缩掉的路径。

技术定位视角:素材强调"Record & Replay 的本质,就是一个通过【视觉理解+提示词】的双重增强,生成 Skill 的工具",它记录的是意图而非像素,执行时每次都是模型重新决策。素材则从更宏观的角度指出,Record & Replay 的真正意义在于"把人的一次操作,编译成 Agent 可以长期调用的工作流记忆",是 AI 协作从"聪明"走向"熟练"的开始。

市场影响视角:素材判断该功能"短期不会冲击传统 RPA 的核心市场,但会蚕食它们一直想吃却吃不到的'长尾'"——那些每周做几次、每次几分钟的小型重复工作。素材则从更高维度解读:"这不是效率工具,这是 OpenAI 在给 AI 装'手'和'眼',然后让 AI 用人类的图形界面,反过来驾驭人类的软件",图形界面正在从"让人不用敲命令"变成"让 AI 可以操作软件"的现成基础设施。
241811
10对比维度汇总
基于上述素材整理,以下维度可作为读者评估 Record & Replay 与传统 RPA 差异的参考框架:

在技术原理维度,前者记录语义意图,后者记录坐标与选择器;前者通过视觉理解自适应执行,后者按固定脚本重放。在创建门槛维度,前者只需演示一遍,后者需要学习 RPA 平台操作。在执行可靠性维度,前者中等,后者极高。在适用规模维度,前者适合个人与小团队,后者适合企业级大规模部署。在成本投入维度,前者近乎零成本零部署,后者需要专业开发者和较长周期。在灵活性维度,前者可适应界面微调,后者界面变化即失效。在维护成本维度,前者由 AI 推理处理变化,后者需要人工修复选择器。

读者可以根据自身场景判断:如果流程高频、输入固定、要求 100% 确定性执行(如财务报销核验、金融合规操作),传统 RPA 仍是更稳妥的选择;如果流程中低频、步骤有变化、需要结合个人经验判断(如运营巡检、内容发布、竞品分析),Record & Replay 提供了更轻量的自动化路径。对于多数知识工作者而言,两者并非非此即彼,而是可以根据具体任务灵活选用或组合使用。
467

评论

评论区空态插画

当前文章无评论,是时候发表评论了