阿里把AI扔进100台真机"军训"：以后它替你点屏幕

阿里把AI扔进100台真机"军训"：以后它替你点屏幕

8月20日，阿里发了个东西，名字叫Qwen-UI-Agent。

翻译成人话，一个会看屏幕、会点按钮、会打字填表的AI。你让它"在手机上找附近咖啡馆，再去小红书看评价"，它就真去点、真去看、真给你总结[1]。

这不是又一个只会聊天的机器人。它是个能动手的。

一、为什么是"点屏幕"，而不是"接接口"

这里有个关键判断，很多人没意识到。

绝大多数软件，从没打算给你开接口。银行App、政府办事系统、你公司那套老ERP，哪有API给你调？过去AI想自动干活，得求人家开放接口，求不到就干瞪眼。

但屏幕是通用的。只要有界面，AI就能像人一样看、点、输。阿里这次赌的就是这个，把屏幕当成最大的入口，一个模型覆盖手机、电脑、网页、深度搜索四种环境[1]。

这思路比"求接口"实在得多。世界上的软件，没开接口的远比开了的多。

二、阿里干了一件狠事，把模型扔进真机里练

GUI智能体最大的坑，叫"模拟到真实的落差"。很多同类在电脑里模拟练得挺好，一上真机就崩，弹窗一出来、按钮一移位，全傻。

阿里的解法是土但是有效，搭了100多台真手机、150多个真App的环境，让模型在真实设备上跑任务、采轨迹、做训练[2]。还搞了个400多个任务的真机基准MobileWorld-Real。

结果，移动端成功率92.2%，Android Daily接近满分；电脑端OSWorld-Verified 79.5%；网页WebArena排第一[2]。主力模型才27B参数，比那些几百B的旗舰轻得多[3]。

轻，意味着能跑在本地、跑在端侧。这对普通人不是小事。

三、它会动手，也知道什么时候停手

最让我放心的，是它那个安全机制。

违法或高风险的请求，它直接拒绝、终止，不执行任何操作。发红包、删文件、授权隐私这种敏感动作，它填完信息，停在关键步骤，等你确认才继续[1]。比如"给我妈支付宝转500"，它填好金额和备注，停在支付那一步等你点。

我管零售系统那会儿最怕什么？怕自动化脚本在没人看着时把错数据写进库。一个懂停手的AI，才配叫助手。

它还能混着干。除了点屏幕，它还能直接敲命令行，电脑任务里近一半动作是命令行完成的[1]。网页检索交给GUI，数据分析交给CLI，配合着出Excel、PPT、Word。

四、对普通人意味着什么

现在还是基座模型，离你手机里那个"小艺""小爱"真正能替你办事，还有距离。但方向已经清楚了。

以后你手机助手不再是"帮你查一下"，而是"帮你办一下"。订机票、填表格、比对价格、整理相册里的收据生成账单，这些又琐碎又绕的活，它看着屏幕就干了[1]。

普通人现在能做的，是理解这件事的边界，AI正在从"会说话"变成"会干活"。会说话的AI，你用它是聊天；会干活的AI，你用它是雇人。

雇人得给清楚指令、交代敏感权限、关键步骤盯着点。跟带新人一个道理。

阿里把技术报告和代码都开源了[2]。开源的好处是，全世界开发者都能在这个底座上盖房子。房子盖得快，你手机里那个"真能办事的助手"就来得早。

屏幕这扇门，AI已经学会自己开了。

参考来源

[1] 腾讯新闻 / IT之家 阿里发布Qwen-UI-Agent，让模型真正"会用"每一块屏幕（2026-08-20）

[2] AIBase《阿里开源 Qwen-UI-Agent：真机多模态基座模型登场》（真机环境、基准数据）

[3] 搜狐智东西《阿里把AI扔进100台真机里"军训"》（27B参数、六大GUI基准5个第一）

如果这篇让你重新想了一件事，点个「在看」让朋友也看到。每周一篇算账硬货 + 两篇AI快评，关注虾哥，不掉队。

如果AI能替你点屏幕，你最想让它帮你干掉哪件烦事？评论区说说。

#Qwen #GUI智能体 #技术趋势