什么值得买App下载 App ›
连续签到专享现金活动

AI点手机又慢又贵?港大开源PhoneGo:走过的路,直接回放

昨天,B站那条「时隔5年,我造出一台满血版AI手机,能控制任意软件!」刚破15万播放。UP主晨钟酱基于豆包工作客户端做了个能操作手机的SKILL,让AI替他开App、点屏幕。但480条评论里最多人点赞的,是一句质疑:「一直开着adb连着电脑,手机变电脑外设了?」还有一条更扎心:「视频里框框点,现实几分钟才能搞完。」哔哩哔哩

AI点手机又慢又贵?港大开源PhoneGo:走过的路,直接回放

又慢又贵,不是个别人的挑刺,而是现在几乎所有手机Agent共同的软肋——它们大多走纯视觉路子:截图→视觉模型看屏→决定点哪→执行→再截图,每一步都要从零"看懂"屏幕。哔哩哔哩

AI点手机又慢又贵?港大开源PhoneGo:走过的路,直接回放

这周,港大开源了PhoneGo(MIT协议,约1400星),思路很"懒人":熟路不必每次都重新认识。它把活儿拆成三段:

  • 离线建图:提前把每个App逛一遍,页面、按钮、跳转画成"导航地图",常用流程编译成命令;

  • 在线回放:接到指令先匹配地图,走过的路直接按验证过的命令回放,不截图、不调视觉模型;

  • 兜底:App改版、弹窗、新界面,才切回视觉模式看屏。

一句话:已知路径交给命令,新情况才交给视觉。项目同一条令自己实测:纯视觉32步、146秒、20.7万token;PhoneGo 17步、64秒、9.2万——步数-47%、耗时-56%、token-55%,两边都完成了任务。先说清楚:这是官方报告数据,目前只在一台红米K90上验证过,别拿比例当普遍。知乎哔哩哔哩

还有几个细节踩在痛点上:PhoneGo借助虚拟显示尽可能在后台干活,主屏归你,必须切前台才借屏、用完秒还。另外,地图、密钥、会话全存本地,付款、下单、提交交易一律暂停等确认,密码验证码直接交回你——"AI会不会狂干我手机"这种担心,算回应了一半。知乎

AI点手机又慢又贵?港大开源PhoneGo:走过的路,直接回放

代价也写得明明白白:建图不便宜,文档里30分钟预算只爬完14个页面;地图会过期——同一张图十月落地率40%,十一月掉到10%,重爬才回到90%。仓库里甚至专设「已知且未解决」和「负面结果」章节,连最贵的bug都敢贴:日志一路绿灯、每步都报成功,实际停在错误页面。评论区那句"日志一路绿灯,人已经迷路了",说的就是这类事。哔哩哔哩

门槛同样不低:只有安卓,且要Android 14+、ARM64、手机开无线调试连接,模型API Key自备。软件免费,token费另算。最受益的,是每天重复同样几步、愿意先花时间为常用App建图的人;只想随手让AI代点两下的,目前还早。知乎哔哩哔哩

AI点手机又慢又贵?港大开源PhoneGo:走过的路,直接回放

比起数据,PhoneGo仓库里那句话更有意思:即使App没开放API,也要给它一层Agent可用的操作接口。这条路若走通,手机自动化的成本会被明显打下来——只是眼下图还少,得一个App一个App地验。哔哩哔哩

评论

评论区空态插画

当前文章无评论,是时候发表评论了