豆包手机是如何帮用户操作的？用户隐私会被泄露吗？

最近豆包手机的热度非常高，AI操作方面可以说是非常完善了，可以替用户完成很多重复性的操作，那么豆包到底是怎么运作的，对用户来说豆包安全吗？

B站UP主@老戴Donald 从底层分析了豆包手机的工作流程，感兴趣的可以点击下边的链接跳转过去，懒得跳转的，我也挑一些重要的内容贴上来。

豆包手机到底在看你什么？

首先，豆包的程序是系统级的，也就是说权限非常高。

然后是这个autoaction进程，这个看名字就知道是自动操作的进程了。

首先就是这个AI它是如何读取屏幕的，一般我们认为是通过录屏或者截图来实现的，但是豆包却不是，豆包AI读取屏幕要比录屏或者截屏更底层，叫READ_FRAME_BUFFER

这个进程读取的是GPU渲染的图形缓冲区，也就是说这个内容刚渲染出来，豆包就给拿走了，根本不用等到这个内容在屏幕上显示出来。

再看下边这个进程，CAPTURE_SECURE_VIDEO_OUTPUT，这个进程更了不得，这个是捕获受保护的视频。哪些视频会受保护呢？肯定不是抖音短视频这类的了，那是什么？银行等金融App，或某些比较私密的App，通常截图的时候会提示禁止截屏，可有了这个权限，豆包就可以捕获到这些受保护的视频，你说这权限高不高。

然后是INJECT_EVENTS，这个是模拟点击屏幕的，这个比无障碍的那个要更底层，它是直接注入输入事件的，这也是为什么豆包可以在后台进行操作的原因之一。

为了能够顺利进行操作，系统给豆包创建了一个虚拟屏幕，分辨率与物理屏幕一样，所有权是属于AUTOACTION这个Apk，亮度始终为0。

然后还是受信任的，永远解锁，独占焦点，所以豆包在操作的时候不影响用户正常使用。

上述所说的这个虚拟屏幕的画面不走硬件，而是由GPU合成后到达缓冲区，然后去到屏幕71，也就是这个虚拟屏幕，而这个屏幕的“消费者”就是AUTOACTION。也就是说系统专门创建了一个幽灵屏幕专门给AUTOACTION用，这个屏幕的分辨率与手机的物理分辨率相同，刷新率60Hz，亮度为0，永不锁屏，焦点独占，与物理屏幕互不干扰。

读取屏幕的原理搞清楚了，那操作屏幕呢？

它会调用了一个隐藏API：injectinputEvent，通过直接向虚拟屏幕注入输入事件的方式来控制手机。

现在我们知道了豆包手机是如何进行操作的了，那哪些操作是本地运行，哪些是要上传云端的呢？这涉及到我们最关心的隐私问题。

UP主通过日志进行了分析，发现了豆包自动化操作的过程，它会频繁的与云端服务器进行通信，每3-5秒发送一个大小约250K的文件，猜测为屏幕截图和要做的动作，云端服务器分析完屏幕后返回指令。

返回的操作指令有7种，分别是打开应用、点击屏幕、输入文本、等待、滑动屏幕、记笔记、停止。

从返回的指令可以看出，本地主要做的内容就是告诉云端我要干什么呢，同时发送一张截图，云端通过分析截图内容给出指令，本地再按指令来进行操作，然后再截图发送，再等云端的指令，所有的推理运算都是在云端进行的。

也就是说，豆包手机助手就相当于是人的手，它基本只会做动作，思考的事留给云端这个大脑，如果云端服务器宕机或者网络出问题，可能一些复杂操作就不能做了，当然像定个闹钟、记个备忘录还是可以在本地进行的。

通过UP主的分析，咱们基本知道了豆包手机的AI操作流程与方法，比较让人在意的是其权限之高，基本可以说是系统级的，连受保护的视频都能获取，这也难怪阿里、腾讯系的App会认为登录环境异常呢，毕竟谁也看不到豆包在那个虚拟屏幕里干了啥。

AI是大趋势，谁也阻挡不了，如何保护隐私才是我们该关心的，至于厂商保证的保护隐私策略，在效益面前，啥也不是。

作者声明本文无利益相关，欢迎值友理性交流，和谐讨论～