什么值得买App下载 App ›
连续签到专享现金活动

当软件的用户不再是人:如何把一个软件装进Agent的上下文里?

随着Agent技术的发展,核心议题正从“模型是否会调用工具”转变为“模型如何真正使用应用”。现有的软件界面是为人类感知设计的,大模型缺乏视觉、触觉及对连续变化的感知能力,无法像人类一样直接操作图形用户界面(GUI)。因此,如何将原本服务于人类的软件翻译成大模型能够理解、操作并能持续工作的上下文空间,成为Agent应用(Agent Apps)发展的关键。
01大模型使用软件的障碍
人类使用GUI依赖视觉感知、鼠标交互和界面反馈,这套逻辑对大模型并不适用。大模型无法“看”到样式,无法“悬停”或“点击”,也无法感知界面的连续变化。若强行让模型适应现有的GUI环境,会导致Agent系统在处理复杂任务时表现笨拙。问题的本质不在于模型不够聪明,而在于界面设计之初并非为其准备。
02现有解决方案的局限性

主流方案对比

页面截图理解

模拟人类视觉操作

  • 模拟人类通过屏幕理解界面
  • 本质上是在训练模型适应GUI
  • 缺乏结构化,效率较低
DOM/HTML解析

获取页面结构信息

  • 提供比截图更结构化的信息
  • 包含大量与任务无关的前端实现残留
  • 并非为模型消费设计的原生格式
纯工具调用

直接提供函数接口

  • 解决了“做什么”的动作调用
  • 无法解决“当前世界是什么”的状态问题
  • 缺乏应用环境的上下文感知
03Agent Apps:语义化与状态驱动
Agent Apps的核心思路是将软件运行结果翻译成大模型原生可消费的界面。这不再是简单的屏幕截图或代码堆砌,而是提供包含视图状态、可操作对象及可用动作的语义化上下文。通过这种方式,应用从“被观察的屏幕”转变为“可被理解和操作的上下文空间”。
传统GUI交互Agent Apps交互
用户通过鼠标点击像素点模型通过引用选中对象
界面隐藏底层复杂对象上下文直接提供结构化对象数据
触发动作依赖按钮点击构造动作基于语义化函数调用
感知依赖视觉连续变化状态更新驱动模型下一步决策

交互模式对比

这种模式的关键在于“状态驱动”。动作执行后,模型看到的不是简单的“调用成功”文本,而是一个更新后的View。这使得模型的工作方式从“读说明->调用->猜下一步”,转变为“读界面->选对象->触发动作->看新界面”,极大地提升了工作的稳定性和逻辑性。
04开发者视角与未来方向
从开发者角度看,Agent Apps不需要重写底层代码,而是在现有组件基础上增加一层“语义上下文”的输出。这降低了接入门槛,同时解决了Agent在复杂环境中缺乏真正应用环境的问题。未来的方向不是让大模型学会用GUI,而是为大模型重新设计一套原生的应用接口,将应用真正装进模型的上下文里。

评论

评论区空态插画

当前文章无评论,是时候发表评论了