安卓上让AI自动点手机早不新鲜:ADB加截图,Agent跑得飞起。但iPhone用户只能干看着——想自动化,得备Mac、装Xcode、搞签名,有些方案还得在手机里装Runner App,门槛比手机还贵。10月11日,GitHub上一个叫onehumanbeing的单人开发者开源了esp32-iphone-agent,把门槛换成了一块7美元的板子。9天冲到3290星、437个fork(GitHub API,10月20日数据)。知乎知乎GitHub

思路很"损":不破解iOS,让AI假扮人类
它没碰iOS任何底层接口,而是让AI当一个真正坐在手机前的人:
眼睛:板子自建Wi-Fi热点,跑一个AirPlay接收器,iPhone把屏幕镜像给板子;
手:ESP32-S3插进充电口,伪装成标准USB鼠标键盘,配合系统自带的"辅助触控"完成点击滑动;
大脑:手机上的app把截图发给任何OpenAI兼容的视觉模型,模型决定点哪儿,指令经蓝牙传回板子执行。
不越狱、不装插件、不要开发者账号——因为镜像、USB外设、无障碍,全是iOS自己开放的功能。每一步都走在系统允许的接口上,属于"在封闭生态的合法缝隙里搭桥"。知乎GitHub
更聪明的是纠错:USB鼠标是相对移动,指针位置靠推算,越推越歪。作者的办法是每次点击前先"晃一晃"指针,让视觉模型在截图里找到它、校正偏差再落点;点完屏幕没变化,AI就知道这下没点中,重新瞄准,而不是错上加错。知乎

先辟个谣:跟乐鑫官方没关系
有视频把它标成"乐鑫官方开源模拟器",不对。乐鑫只是造了ESP32这颗芯片,项目是纯个人作品:MIT协议,开源至今只有52个commit,单一主力贡献者。热度几乎全靠GitHub trending传播,在Hacker News上只有2个赞、0条评论。它是个精巧的个人工程实验,不是社区基建,评价尺度得放对。哔哩哔哩知乎
限制清单比卖点清单还长
作者自己在README里列的限制,比宣传诚实得多。知乎
BLE带宽只有300-500kbps,镜像画面又小又卡,README标称480×1040、不超过5fps。GitHub
iOS不镜像密码输入、Apple Pay和DRM视频,锁屏时镜像直接停——这些场景AI是瞎的,抢购付款别指望。
键盘输入只支持ASCII,中文拼音还在roadmap上;横屏app不支持。
要求iOS 18以上,对系统更新敏感,每个大版本都可能变天。
app得用Xcode自己编译侧载(免费Apple ID就行),后台常驻用了私有API,上架App Store前必须替换。
板子几十块,视觉模型按次收费——便宜的是板子,不是你用它花的钱。哔哩哔哩
谁值得上车
画像很清晰:手上有iOS 18+的iPhone、一块带原生USB和PSRAM的ESP32-S3(几十元),愿意折腾Xcode侧载,想研究"视觉模型操作真机GUI"的玩家。就算不动手,仓库里也有两样好东西:docs/ble-protocol.md是教科书级的蓝牙私有协议文档,prompts/目录把GUI Agent的操作纪律写得明明白白,这两份的价值不随项目火不火波动。知乎

最后抄一段作者的Responsible use,值得每个手搓党默念:只自动化你拥有或被授权的设备与账户。AI是用你的手在行动,跑任务时人别走开,停止键放在手边。GitHub知乎