当软件的用户不再是人:如何把一个软件装进Agent的上下文里?
随着Agent技术的发展,核心议题正从“模型是否会调用工具”转变为“模型如何真正使用应用”。现有的软件界面是为人类感知设计的,大模型缺乏视觉、触觉及对连续变化的感知能力,无法像人类一样直接操作图形用户界面(GUI)。因此,如何将原本服务于人类的软件翻译成大模型能够理解、操作并能持续工作的上下文空间,成为Agent应用(Agent Apps)发展的关键。
01大模型使用软件的障碍
人类使用GUI依赖视觉感知、鼠标交互和界面反馈,这套逻辑对大模型并不适用。大模型无法“看”到样式,无法“悬停”或“点击”,也无法感知界面的连续变化。若强行让模型适应现有的GUI环境,会导致Agent系统在处理复杂任务时表现笨拙。问题的本质不在于模型不够聪明,而在于界面设计之初并非为其准备。
02现有解决方案的局限性
主流方案对比
页面截图理解
模拟人类视觉操作
- 模拟人类通过屏幕理解界面
- 本质上是在训练模型适应GUI
- 缺乏结构化,效率较低
DOM/HTML解析
获取页面结构信息
- 提供比截图更结构化的信息
- 包含大量与任务无关的前端实现残留
- 并非为模型消费设计的原生格式
纯工具调用
直接提供函数接口
- 解决了“做什么”的动作调用
- 无法解决“当前世界是什么”的状态问题
- 缺乏应用环境的上下文感知
03Agent Apps:语义化与状态驱动
Agent Apps的核心思路是将软件运行结果翻译成大模型原生可消费的界面。这不再是简单的屏幕截图或代码堆砌,而是提供包含视图状态、可操作对象及可用动作的语义化上下文。通过这种方式,应用从“被观察的屏幕”转变为“可被理解和操作的上下文空间”。
| 传统GUI交互 | Agent Apps交互 |
|---|---|
| 用户通过鼠标点击像素点 | 模型通过引用选中对象 |
| 界面隐藏底层复杂对象 | 上下文直接提供结构化对象数据 |
| 触发动作依赖按钮点击 | 构造动作基于语义化函数调用 |
| 感知依赖视觉连续变化 | 状态更新驱动模型下一步决策 |
交互模式对比
这种模式的关键在于“状态驱动”。动作执行后,模型看到的不是简单的“调用成功”文本,而是一个更新后的View。这使得模型的工作方式从“读说明->调用->猜下一步”,转变为“读界面->选对象->触发动作->看新界面”,极大地提升了工作的稳定性和逻辑性。
04开发者视角与未来方向
从开发者角度看,Agent Apps不需要重写底层代码,而是在现有组件基础上增加一层“语义上下文”的输出。这降低了接入门槛,同时解决了Agent在复杂环境中缺乏真正应用环境的问题。未来的方向不是让大模型学会用GUI,而是为大模型重新设计一套原生的应用接口,将应用真正装进模型的上下文里。
当前文章无评论,是时候发表评论了