一款开源AI手机助手，正让全程自动化操控成为现实。通过理解屏幕和模拟人类操作，它能完成游戏日常、清理手机乃至视频剪辑等复杂任务。这项技术不仅展示了AI的惊人潜力，也为解决智能手机使用痛点提供了全新的思路。
智能速览
开源AI助手AutoGLM可实现手机全自动化操作。
AI能通过界面理解完成游戏每日任务，推理过程类似人类。
经过提示词优化，AI能高效卸载多个应用，解决手机清理难题。
在视频剪辑任务中，AI学会利用“一键成片”功能自动生成带转场和音乐的短片。
该模型部署简单，未来可帮助老人等群体简化手机操作。
精华内容
一个开源AI模型，能否接管手机，实现从游戏到剪辑的全程自动化？实测揭示了当前AI操作手机的真实水平与惊人潜力。
游戏任务自动化
在《崩坏：星穹铁道》的每日任务测试中，AI助手表现出色。它不仅能自主进入游戏并找到任务界面，其决策逻辑也与人类玩家高度相似。面对不熟悉的UI，AI没有盲目寻找，而是通过分析界面元素，选择直接消耗120体力的最优解，完成了两次60体力副本的挑战。
即使在模型未经过特定游戏UI适配的情况下，它也能通过视觉理解，反复尝试并最终找到“加速”和“自动战斗”按钮，展现了强大的泛化学习和适应能力。从进入副本到领取奖励，整个流程一气呵成。
手机管理新思路
针对老年人手机易被垃圾应用困扰的问题，测试让AI卸载使用时间最短的5个应用。初次尝试时，AI因找不到“应用使用时间”设置而任务失败，在系统设置中浪费了大量时间。这暴露了其在探索陌生系统时的局限性。
然而，该AI的进化速度令人惊喜。仅隔三天，经过提示词的优化引导，AI的操作逻辑从“点击一次确认一次”进化为“连续点击”，能够精准定位并成功卸载指定的四个新应用。这种快速学习和迭代的能力，使其在处理重复性手机管理任务上具备了极高的实用价值。
创意任务挑战
视频剪辑测试则展现了AI的应变与“顿悟”能力。当被要求用剪映将三个汽车视频合成为带转场和音乐的短片时，AI起初陷入了困境。它多次尝试进入特效和动画菜单，但始终未能找到手动添加转场的方式，四次尝试均告失败。
但就在第四次失败后，AI的行为发生了关键性转变。它放弃了手动操作，转而分析了软件首页的“一键成片”功能，并推断出该功能可能自动满足添加转场和BGM的需求。随后，它成功利用此功能生成了视频，并主动检查了效果。虽然漏选了一个视频片段，但这次“自我进化”极具启发性。
技术潜力与展望
实现这一切的AI助手，是源自GitHub的免费开源模型AutoGLM，其部署过程并不复杂，仅需6个步骤即可在个人设备上运行。技术的核心在于通过视觉语言模型理解屏幕，结合自动化操作能力完成任务。
这意味着，它不仅能服务于游戏玩家和内容创作者，更能成为技术弱势群体的得力帮手。例如，老人只需一句话，就能让AI帮忙点外卖、打车或清理手机。这种将复杂操作简化为自然语言交互的方式，预示着人机交互的未来正变得更加普惠和智能。
实测证明，开源AI助手在手机自动化上已具备相当实用的能力，尤其在重复性任务和适应性学习上表现惊人。尽管仍存在操作边界的局限，但其开源属性和快速迭代的潜力预示着一个更智能、更便捷的人机交互未来正在到来。这项技术，你最期待它解决什么问题？
关键评论
有网友好奇这项技术的边界，提问是否能自动完成扣款等金融操作。
也有观点指出，当前AI能执行的操作仍受较大限制，适用范围有待扩展。
对于AI的创意能力，网友们表现出浓厚兴趣，期待它自动生成文案和图片。
