安卓党让AI操控手机,早就有现成的路:adb一条命令,截图、点击全敞开。iPhone用户只能干看着——软件路线要Mac、Xcode、WebDriverAgent、开发者签名一整套,全是重装备。知乎
现在出现了一个7美元的答案。独立开发者Henry Yuan把开源项目esp32-iphone-agent丢上GitHub,建仓五天拿了2,584星、341个fork。知乎
它能让任何能"看图"的视觉模型用上一台真iPhone:不越狱、不开开发者账号,运行时也不用电脑。知乎哔哩哔哩

眼睛和手,全走"正门"
这个项目的聪明之处,是它不去调用iPhone内部的自动化API,而是把AI当成一个真正坐在手机前的人:走人用手机的同一条路。知乎
眼睛是AirPlay。Seeed XIAO ESP32S3板子烧上固件,自己开一个热点,以"ESP32 Agent"的名字出现在iPhone的屏幕镜像列表里,点一下,画面就进了板子。没有苹果认证芯片?固件里躺着一套FairPlay握手的开源重实现,照样能协商出镜像画面。知乎
手是USB。板子插在充电口上,一边收AirPlay投屏,一边装成USB键鼠,辅助触控一开就能替你点按滑动。这个苹果2011年为运动障碍用户做的无障碍功能,2026年成了AI的手:点按就是点击,拖动就是滑动,不装描述文件,不碰沙盒。哔哩哔哩知乎
大脑不挑,任何兼容OpenAI格式的视觉模型都行,云端API或本地部署均可。知乎

看不清,就先晃一晃再点
镜像画面只有480×1040、不到5fps——BLE带宽就这么大。作者的解法是"晃动复核":每次精确点击前先晃一下指针,在画面里找到它、修正偏差再落点;点完等画面稳定,没变化就说明点空了,AI会立刻察觉并重试,而不是错上加错。全程留痕,可逐步回放。知乎知乎哔哩哔哩

成本低到可以忽略。有外部开发者实测:一个20到40步的任务,模型开销0.7到2.6美分,约合人民币几分到两毛。但也别忘了,便宜的是板子,AI是按次收费的。知乎哔哩哔哩
节奏也快。10月14日v0.1.0发布时,链路中间还得有台电脑收镜像;两天后电脑就被踢出局——投屏接收搬进板子,agent变成手机上的一个app,H.264流经BLE直传手机端,算力留在有算力的地方。迭代猛到v2至今没打tag。知乎
但先别把主账号交出去
冷水也要泼明白。iOS不镜像密码输入、Apple Pay和DRM视频——这些界面AI是盲的,锁屏即断链。键盘目前只认ASCII,中文拼音还在路线图上,横屏应用的坐标也没适配。手机Wi-Fi被板子热点占用,模型流量全走蜂窝。装那个agent应用到手机,仍需Mac加Xcode签名,免费Apple ID能用,代价是七天重签一次。知乎
外部评测的结论很直接:不敢无人值守跑在有钱的账号上。README也写得直白:只自动化你自己的设备,紧急停止放在够得着的地方。所以合理的玩法是:拿台备机烧一个,让AI跑冒烟测试、设闹钟、拖时钟转盘,当移动端自动化的入门标本正好;主力机和真金白银的账号,等它补上中文输入和横屏再说。知乎

从"AI能看屏幕"到"AI能摸屏幕",中间隔着整个苹果生态。现在,这层墙被一块插在充电口上的小板子撬开了条缝。笨是笨了点,但足够让人心跳加速。