几十块硬件让AI操作iPhone:9天3300星,但限制清单比卖点长

源自79位全网作者

10:38

安卓上让AI自动点手机早不新鲜:ADB加截图,Agent跑得飞起。但iPhone用户只能干看着——想自动化,得备Mac、装Xcode、搞签名,有些方案还得在手机里装Runner App,门槛比手机还贵。10月11日,GitHub上一个叫onehumanbeing的单人开发者开源了esp32-iphone-agent,把门槛换成了一块7美元的板子。9天冲到3290星、437个fork(GitHub API,10月20日数据)。知乎知乎GitHub

几十块硬件让AI操作iPhone:9天3300星,但限制清单比卖点长

思路很"损":不破解iOS,让AI假扮人类

它没碰iOS任何底层接口,而是让AI当一个真正坐在手机前的人:

  • 眼睛:板子自建Wi-Fi热点,跑一个AirPlay接收器,iPhone把屏幕镜像给板子;

  • 手:ESP32-S3插进充电口,伪装成标准USB鼠标键盘,配合系统自带的"辅助触控"完成点击滑动;

  • 大脑:手机上的app把截图发给任何OpenAI兼容的视觉模型,模型决定点哪儿,指令经蓝牙传回板子执行。

不越狱、不装插件、不要开发者账号——因为镜像、USB外设、无障碍,全是iOS自己开放的功能。每一步都走在系统允许的接口上,属于"在封闭生态的合法缝隙里搭桥"。知乎GitHub

更聪明的是纠错:USB鼠标是相对移动,指针位置靠推算,越推越歪。作者的办法是每次点击前先"晃一晃"指针,让视觉模型在截图里找到它、校正偏差再落点;点完屏幕没变化,AI就知道这下没点中,重新瞄准,而不是错上加错。知乎

几十块硬件让AI操作iPhone:9天3300星,但限制清单比卖点长

先辟个谣:跟乐鑫官方没关系

有视频把它标成"乐鑫官方开源模拟器",不对。乐鑫只是造了ESP32这颗芯片,项目是纯个人作品:MIT协议,开源至今只有52个commit,单一主力贡献者。热度几乎全靠GitHub trending传播,在Hacker News上只有2个赞、0条评论。它是个精巧的个人工程实验,不是社区基建,评价尺度得放对。哔哩哔哩知乎

限制清单比卖点清单还长

作者自己在README里列的限制,比宣传诚实得多。知乎

  1. BLE带宽只有300-500kbps,镜像画面又小又卡,README标称480×1040、不超过5fps。GitHub

  2. iOS不镜像密码输入、Apple Pay和DRM视频,锁屏时镜像直接停——这些场景AI是瞎的,抢购付款别指望。

  3. 键盘输入只支持ASCII,中文拼音还在roadmap上;横屏app不支持。

  4. 要求iOS 18以上,对系统更新敏感,每个大版本都可能变天。

  5. app得用Xcode自己编译侧载(免费Apple ID就行),后台常驻用了私有API,上架App Store前必须替换。

  6. 板子几十块,视觉模型按次收费——便宜的是板子,不是你用它花的钱。哔哩哔哩

谁值得上车

画像很清晰:手上有iOS 18+的iPhone、一块带原生USB和PSRAM的ESP32-S3(几十元),愿意折腾Xcode侧载,想研究"视觉模型操作真机GUI"的玩家。就算不动手,仓库里也有两样好东西:docs/ble-protocol.md是教科书级的蓝牙私有协议文档,prompts/目录把GUI Agent的操作纪律写得明明白白,这两份的价值不随项目火不火波动。知乎

几十块硬件让AI操作iPhone:9天3300星,但限制清单比卖点长

最后抄一段作者的Responsible use,值得每个手搓党默念:只自动化你拥有或被授权的设备与账户。AI是用你的手在行动,跑任务时人别走开,停止键放在手边。GitHub知乎

内容由AI生成
1
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章