Magentic-UI，上网新体验？

在这个智能体满天飞的时代，智能体（AI Agent）成为一大热词，大家更是将2025年冠以“智能体元年”的称号，各大巨头也动作频频。现代生产力与网页操作紧密相连，信息检索、表单填写、仪表盘导航等网页任务已成为工作流程的重要环节。然而，大量网页任务仍依赖人工重复操作，效率低下且易出错。与此同时，许多 AI 智能体虽追求自主运行，但用户往往难以掌控其行为逻辑，无法预知任务结果，甚至可能造成不可挽回的错误。

微软最近开源了一个名为Magentic-UI的智能体研究项目，这是一套基于多Agent、以人为中心设计的人机交互界面系统。

Magentic-UI

是一款以人为中心的界面研究原型，由多智能体系统驱动，能够浏览网页、执行操作、生成和执行代码以及生成和分析文件。它特别适用于需要在网页上执行操作的任务（如填写表单、定制食品订单）、深度导航非搜索引擎索引的网站（如筛选航班、查找个人网站链接）以及需要网页导航和代码执行的任务（如从在线数据生成图表）。Magentic-UI 的独特之处在于其透明且可控的界面，支持高效的人机协作。它基于 AutoGen 构建，用于研究人机交互和实验网络代理。

当你输入一条指令给Magentic-UI智能体后，它会自动分解为各个步骤，但是不会立即执行计划，你可以对各个计划内容进行修改，当你都同意各个步骤计划后，Magentic-UI才会开始执行。这样做的好处是，可以在任务起始时，把控任务的方向，避免整个任务结果偏离你想要的结果，大大提高了结果的准确性。用户可以直接通过计划编辑器修改智能体的执行计划，或在Magentic-UI执行任何操作前提供文本反馈。

当Magentic-UI智能体，执行每一步骤动作时，会清晰的展示操作哪一个按钮，哪一个页面，你可以随时接管它的操作，然后再把操作权限转交给智能体执行。这种方式优点是，一旦执行过程中遇到特殊情况，例如网页加载慢、点击了错误的按钮，你可以及时纠正它的动作，以便最后结果输出的准确。用户可以暂停系统并以自然语言提供反馈，或通过直接控制浏览器进行示范。

当Magentic-UI智能体，执行到一些不可逆转的性的动作时，例如支付、删除某些文件等等，Magentic-UI会寻求用户批准，且用户可以指定需要批准的频率。此外，Magentic-UI在沙箱环境中安全运行浏览器和代码执行器等工具。它会征求你的同意。只有当你同意它的操作后，它才会继续执行这些动作。当然如果你拒绝了请求，它就停止执行了。这种设计很人性化的，保护了你的系统。

当Magentic-UI智能体，执行完一个任务后，可以让它进行自我总结。吾日三省吾身，则其善而从之，其不善而改之，对于一些总结后的任务动作，进行存储，能够从先前的交互中学习并保存计划，以提高未来任务的完成质量。当后面在遇到相类似的场景时，可以直接复用这个任务。

Magentic-UI底层是一个由专门化智能体组成的团队，基于AutoGen的Magentic-One系统适配而来：

1. 协调器(Orchestrator)：由大语言模型(LLM)驱动的领导智能体，负责与用户进行协同规划，决定何时寻求用户反馈，并将子任务委托给其他智能体。

2. 网络浏览器(WebSurfer)：配备可控浏览器的LLM智能体，收到Orchestrator的请求后，执行点击、输入、滚动和多轮访问页面的操作，最终完成Orchestrator的请求，能够点击、输入、滚动和访问页面。

3. 编码器(Coder)：配备Docker代码执行容器的LLM智能体，可以编写和执行Python和Shell命令，并向Orchestrator提供响应，可以编写和执行Python及shell命令。

4. 文件浏览器(FileSurfer)：配备Docker容器和文件转换工具的LLM智能体，可以定位 Magentic-UI 控制目录中的文件，将文件转换为Markdown格式，能够定位、转换文件并回答相关问题。

Magentic-UI最大的亮点是透明和可交互，它所有的操作都是对用户可见的，避免了其他一些多智能体系统的那种黑盒操作，即便是发现搞错了，人类也不能及时干预，导致资源浪费。如果你想让 AI 自动帮你浏览网页、点击、搜集信息、写代码分析数据，Magentic-UI 是一款很不错的开源方案之一！

https://github.com/microsoft/Magentic-UI