开源版“豆包手机助手”!NAS 操控手机,支持安卓/IOS/模拟器
这段时间豆包和中兴合作的首款”豆包手机助手“火上天了,反正我在看完后只有一个感觉,那就是打工人的时代要结束了。
我连刷短视频赚米都打不过 AI ,我还能干啥呢?
不过随着事情继续发酵,听闻支付宝、微信又给豆包手机助手下绊子,不支持通过 AI 操作支付宝、微信了。
道理是有的,毕竟涉及到支付账户,多少还是手工操作安全一点,但是否有其它因素,不多说也不多猜。
现在这款手机买不到了,很多想体验一下的小伙伴没了机会。不过虽然我们玩不到真的“豆包手机助手”,但是通过开源项目体验一下另类的“AI手机助手”也未尝不可。

DroidRun 是一个功能强大的框架,可通过 LLM 代理控制 Android 和 iOS 设备,它允许您使用自然语言命令自动执行设备交互。

它支持通过GoogleGenAI、OpenAI、Anthropic、DeepSeek、Ollama提供的 AI 能力操作手机执行任务,并且具有多轮思考,多次执行的能力。
相对来说,iOS 由于系统的封闭性,使用效果不如安卓那么给力,所以本文演示,我们以安卓手机(安卓11以上)以及网易MUMU模拟器为例,iOS 参照操作即可。

一、确保 ADB 连接
因为我使用的手机是小米6,不是安卓11的,所以只能执行到 adb 连接这一步,后续实际演示以网易MUMU 模拟器来做,所以教程也分为两块。
先说 droidrun 这个项目的核心逻辑,它需要手机安装 Droidrun-Portal 应用(包括安卓/iOS 两个版本)来获取手机页面的浏览权限,然后通过界面分析,提供和反馈信息给 AI,并且进行手机操作。
1、安装 ADB
在使用 droidrun 之前,我们需要确保设备上支持python3和adb指令。
极空间私有云内置了python3,无需再次安装下载,所以我们主要手动安装adb来进行手机初次授权认证,以及设备绑定。
首先下载 adb(版本≥30.0.0 ),将它存到极空间任意位置并解压缩。
下载地址:https://dl.google.com/android/repository/platform-tools-latest-linux.zip

接下来打开 docker 应用,在 compose 界面下的【查询路径】功能里,找到解压后的文件夹路径,保存备用。

登录 SSH 界面,将复制的路径替换为下面的【路径】,分别执行两条软连接指令,将adb和fastboot映射成系统级指令。
1.ln -sf 路径/adb /usr/bin/adb
2.ln -sf 路径/fastboot /usr/bin/fastboot
2、绑定手机
根据自己的手机型号搜索资料并开启“开发者模式——ADB调试相关指令”,接着使用 USB 数据线连接极空间和手机,输入下面的指令。
1.adb devices
这个时候手机上会弹出信任设备,点击确认。可以看我下面的图,第一次输入adb devices,设备的名字是unauthorized,只有点击过信任以后,才会变成下面的device。
然后输入指令ls ~/.android查看设备是否生成信任密钥。包括adb.5037,adkey,adbkey.pub,三者缺一不可。

以上两步完成,并且输出结果和我一样后,再次输入指令:
1.lsusb
现在我们要找到 USB 总线,可以看到红框的这一条,最后有(MTP +ADB)的,就是我们的手机,记录下红框内的值 idVendor:idProduct 备用。

接着我们需要编写设备绑定规则,这一步的目的是确保后续无论如何插拔 USB,极空间都可以认出这台手机,不需要再重新绑定。
输入指令打开文本编辑模式:
1.nano /etc/udev/rules.d/51-android.rules
修改下面这一行代码,然后黏贴到nano编辑页面。
XXXX= 供应商 ID 即 idVendor ,我的是2717
YYYY =产品 ID 即 idProduct,我的是ff48
SSSS =手机序列号 ,自己在手机里查看
SUBSYSTEM=="usb", ATTR{idVendor}=="XXXX", ATTR{idProduct}=="YYYY", ATTR{serial}=="SSSS", MODE="0666", GROUP="plugdev", SYMLINK+="phone1/phone"
黏贴完成以后,键盘上按CTRL+O 保存,再按一下回车确认路径,最后按CTRL +W关闭nano界面。

然后依次输入以下指令,重新读取udevadm规则,并且杀掉目前的adb连接。
1.udevadm control --reload-rules
2.udevadm trigger
3.adb kill-server(仅限 USB ,wifi连接不要这步)
3、连接模拟器
模拟器和实体手机不同,它不需要通过 USB 连接,可以直接使用无线 ADB 连接。我们的安卓手机,只要第一次通过 USB 连接后,后续也可以通过局域网无线或者异地组网来连接。
以网易 MUMU 为例,首先在网络里打开桥接模式。

接着在其它-ADB调试里打开本地和远程连接。

重启模拟器后,来到设备诊断里,下拉查看网络信息,这里有模拟器的 IP 地址,以及远程ADB的端口,默认的都是5555。

接下来,回到极空间的 SSH 界面,输入下面的指令来远程连接设备。
1.adb connect ip:5555
注意,远程模拟器不需要修改51-android.rules这个文件,这个只有安卓实体手机才需要(也就是说安卓必须先执行一次 USB ADB,才可以启动后续的 Wifi ADB)。

二、安装 droidrun APK/APP
1、手机
首选方案是手动安装 APK 并且授权打开,这样就不需要考虑 github 的网络访问问题。
安卓下载地址:https://github.com/droidrun/droidrun-portal/releases/download/v0.4.7/droidrun-portal-v0.4.7.apk
如果感觉手机安装 APK 麻烦的,那么就需要使用 docker 指令来安装 APK(这一步需要挂科学),在 SSH 而界面里可以看到 APK 的安装情况。
🔻 docker run 指令
docker run --name=droidrun --user='0:0' --network=host --group-add plugdev --device /dev/phone1/phone:/dev/phone -v /dev/bus/usb:/dev/bus/usb -v ~/.android:/home/droidrun/.android -e http_proxy=http://192.168.0.135:7890 -e https_proxy=http://192.168.0.135:7890 -e ADB_VENDOR_KEYS=/home/droidrun/.android/adbkey.pub ghcr.io/droidrun/droidrun:latest setup
2、模拟器
模拟器的话直接安装就行了,安装以后会看到带颜色的框框,这个就是 droidrun 对手机界面的识别情况,很直观。

一定要用 docker 安装也可以,最后 setup 命令后加上--device ip:prot实现远程连接。
docker run -itd --name=droidrun --user='0:0' --network=host --group-add plugdev -v ~/.android:/home/droidrun/.android -e http_proxy=http://192.168.0.135:7890 -e https_proxy=http://192.168.0.135:7890 -e ADB_VENDOR_KEYS=/home/droidrun/.android/adbkey.pub ghcr.io/droidrun/droidrun:latest setup --device 192.168.0.122:5555
三、利用 AI 操控手机
前面也说了,droidrun 目前支持的模型来源有限,因此这里建议使用deepseek或者本地ollama。
作为 AI+NAS 的领航品牌,极空间最近推出的 AI空间 那是真的强力,极空间 Z425/ 极空间 T6 两款设备凭借强大的 TOPS 输出,通过多个渠道、多个维度重新解构 NAS 里存储的文件资料、照片相册,并且更专业的 AI 解读,更快速的文件检索能力,让用户可以重构文件视角,实现更有序、更深入的资料查找。

同时,强大的 TOPS 算力,又可以配合 AI助手 的反向 API 来提供本地 Ollama 算力,关于如何将极空间本地 AI助手转换为 API,可以参照我以前的文章,因为时间太久了,不确定是否还生效。
最后,激动人心的一刻到了,剩下的就是我们通过 docker 指令来启动 droidrun 应用,并且操作手机的步骤了。
这一步目前官方是通过 docker run 来执行的,理论上直接使用 docker exec 或者后续通过 docker api 来实行更方便的操作也没问题。当然这不是本文的核心,本文只是将这个流程跑通。
更详细的 cli 指令,这些都是加在 docker cli 代码的最后面。

🔻比如
docker run
--group-add plugdev
--network=host
--device /dev/phone1/phone:/dev/phone ## USB 连接才需要,wifi删掉
-v /dev/bus/usb:/dev/bus/usb ## USB 连接才需要,wifi删掉
-v ~/.android:/home/droidrun/.android
--env DEEPSEEK_API_KEY= 你的API-KEY
ghcr.io/droidrun/droidrun:latest
run "具体的命令,比如打开TapTap,并且随便浏览一下"
## --ios (如果是ios加这条,安卓删了)
-p DeepSeek
-m deepseek-chat
在容器跑的日志过程中,可以看到 AI 模型每一步思考的过程。

1️⃣打开TapTap,随便逛逛
2️⃣打开TapTap,并查看信息
作者声明本文无利益相关,欢迎值友理性交流,和谐讨论~

mervync
校验提示文案
小树熊
校验提示文案
值友8867046790
校验提示文案
值友4196974100
校验提示文案
值友7145320072
校验提示文案
mervync
校验提示文案
值友7145320072
校验提示文案
值友4196974100
校验提示文案
值友8867046790
校验提示文案
小树熊
校验提示文案