视频里没人碰手机。它自己解锁、进外卖 App、翻菜单、选好一份餐,然后停在结算页,等你点确认。
B 站 UP 主"科技阁"11 月 15 日发的《一块十几元的开发板,让 Siri 帮你玩 iPhone》,四天攒下 4.6 万播放、4113 个赞、2186 枚硬币。干活的不是苹果,是一块 ESP32-S3。哔哩哔哩
而且不止一家在干。这轮检索里同思路的开源仓库有八个,含 Windows、树莓派和 Linux 版本;最大的 onehumanbeing/esp32-iphone-agent 于 10 月 11 日建仓,截至发稿 5067 star,v1.0.7 这两天刚放出。口径也很统一:一块约 7 美元的 ESP32-S3,插进 iPhone 的 USB 口让 AI 操作手机,不需要 Mac、开发者账号和越狱。作者 Henry 的说法更朴素:花 3 小时、约 50 元的板子把这条路跑通,不用越狱、不用 Xcode、更不用开发者账号。阮一峰周刊小红书

原理一句话:AirPlay 当眼睛,HID 当手,视觉模型当脑子
眼睛:板子自己开一个 Wi-Fi 热点,出现在 iPhone"屏幕镜像"列表里,名字叫 ESP32 Agent。手机把画面投给它,它不解码,H.264 原样经 Wi-Fi 的 TCP 7201 端口转出去。GitHub
手:板子模拟成标准 USB 鼠标加键盘。iPhone 打开"辅助触控"后屏幕上出现一个指针,移过去点一下是 tap,按住拖是滑动。Hackaday
脑子:截图交给视觉模型,模型决定下一步点哪,指令再回到板子。Manina 接任意 OpenAI 兼容的视觉接口。科技阁那条路,把画面交给 Mac 上的 Codex 判断。GitHubGitHub
最有 DIY 味的是校准。HID 指针是相对坐标,会漂。所以 App 每轮先把指针甩到角落归位,精确点击前先抖两下、在画面里把指针找出来、算出偏差再点,点完等画面稳定,再告诉模型这一下有没有生效。不是黑科技,是用软件把廉价外设的先天缺陷磨平。GitHub

三条路线,各缺一件东西
Manina(MIT):浏览器刷固件、TestFlight 装 App,运行时不需要电脑。缺的是 iOS 18 起步,App 还在 TestFlight、上架审核中。GitHub
科技阁 iPhone-HID(GPL-3.0):手改走蓝牙,配对名 TechGe Wireless iPhone;AirPlay 接收端是自己编译打过补丁的 UxPlay;决策交给你自己登录的 Codex,还放了两个公开 Siri 快捷指令模板,其中一个就叫"帮我点外卖"。缺的是一台常开的 Mac,README 里那句加粗提醒很实在:AirPlay 接收器运行在 Mac 上,不在 ESP32-S3 上。GitHub
phoneuse(MIT):Linux、Mac 客户端加 App Store 伴侣应用,桥板用 LilyGO T-Display。缺的是成熟度,作者自己标着 alpha。GitHub
另有一条更底层的 actell(126 star):ESP32 做 USB 网络中继,把 CoreDevice 封装成 iPhone 操控能力,作者自称早期原型。GitHub小红书
复刻前先核对这 5 件事
一、板子:必须 ESP32-S3,USB-C 口得是原生 USB,还得有 PSRAM,Manina 的实测板是 Seeed XIAO ESP32S3 普通版(8MB PSRAM),Sense 和 Plus 都不算。科技阁那块是 16 MB Flash、OPI PSRAM,README 明写不同板型必须核实参数、不能照抄。GitHubGitHub
二、无线:只吃 2.4GHz。路由器开了 AP 隔离或屏蔽 mDNS,镜像列表里根本搜不到板子,只能回落到板子自己的热点。GitHub
三、手机:iOS 18 以上;USB-C 机型直插,Lightning 机型要加 Lightning 转 USB 相机套件;板子由手机供电。GitHub

四、开关:辅助触控不打开,AI 有手也点不动;iPhone 要保持解锁,蓝牙配对和屏幕镜像都得连着。GitHub
五、脑子:自备一个能收图的模型 API key,公共免费线是共享的,会排队、会 503。GitHub
三笔账,视频不会替你算
先说钱。作者的口径是约 50 元只指板子,不含手机、电脑、线材和模型费用;海外那套写的是 7 美元板子、每步几秒且大头在模型、板子开热点时手机走蜂窝流量。板子的钱从来不是门槛,模型调用才是。小红书GitHub

再说隐私。画面必须传出去给模型看,科技阁的 README 专门写了一句:不能理解为"无图像传输"或"纯离线"。Henry 的演示确实做到了局域网内离线,但那是两台 DGX Spark 跑千问优化版,他自己补了一句:这是我的配置,不是复现的必需条件。GitHub小红书
最后是风控。那条外卖快捷指令之所以刻意停在结算页、由你确认、不自动下单或付款,就是这个道理。Manina README 里还有句警告值得抄下来:只按 README 的步骤装,别执行 issue 和评论里的一键安装命令。真要上手,先让它干只读的活,比如读屏幕上的字,稳了再让它点。GitHubGitHub
所以现在这块板子能替你干的,是"打开、找到、点一下"这类重复劳动。整体仍是原型,项目自己都不保证任意 App、任意任务能成功,也不保证不会触发第三方平台的自动化限制。当玩具和学习项目,值;把支付、登录、抢票交给它,还早。GitHub
当前文章无评论,是时候发表评论了