AI不再仅限于聊天,如今它能真正学会操作手机。AutoGLM项目的开源,标志着全球首个具备完整手机使用能力的AI Agent诞生。它不仅能点击、滑动,还能理解界面、处理弹窗,为AI在移动设备上的应用开启了全新可能,让人人都能拥有自己的手机助手。
智能速览
AutoGLM是全球首个能在真机上稳定跑通完整操作链路的AI Agent。
项目历时32个月,解决了AI操作手机时乱点、卡死等核心难题。
AutoGLM 2.0将能力搬上云端,通过强化学习提升稳定性与隐私保护。
团队开源AutoGLM,旨在推动整个行业共同发展,而非垄断技术。
开源包包含训练好的模型、工具链和50多个中文App的Demo,可供直接使用。
精华内容
从概念到现实,AutoGLM是如何让AI学会操控手机的?这背后是32个月的技术探索与无数次试错,最终实现了从“乱点”到精准可控的跨越。
从乱点到可控
早期版本的Agent时常出现“乱点”、卡死或迷路的情况。为了解决这些难题,团队耗时一年进行技术攻坚。首先,将点击、滑动、输入等能力抽象为标准的Phone Use模块。其次,建立了一套可回放、可审计的操作链路,确保每一步都有据可查。此外,还专门针对真实世界中的弹窗、广告和网络波动等“脏信息”进行处理,最终实现了从自然语言到稳定动作序列的转换。
首个AI红包
2024年11月,一个具有里程碑意义的事件发生:AutoGLM成功在手机App界面中发出人类历史上第一个由AI发出的红包。这个看似简单的动作,实则标志着AI已具备完整走通手机App界面的能力。它预示着未来手机上许多重复性、流程化的交互任务,都可以完全交给AI自动完成。
云端赋能与隐私
2025年推出的AutoGLM 2.0,进一步将技术推向成熟。其核心理念是在让AI会用手机之前,先确保它不会乱点。为此,团队提出了MobileRL/ComputerRL/AgentRL框架,在云端上千台虚拟设备中进行并行强化学习。所有能力均运行在可回放、可审计、可干预的云手机中,并主动避开微信等高隐私场景,兼顾了效率与安全。
开源的远见
团队选择开源,并非偶然。他们认为,构建能够操作手机的AI Agent是关乎整个行业未来的大事,不应由一家公司垄断。将32个月的探索成果开源,是为了让隐私与控制权留在使用者手中,并以此作为行业的共同起跑线。团队期待看到,有开发者基于此打造AI原生手机,有研究者发表论文,共同推动技术演进。
AutoGLM的开源,为AI Agent的发展投下了一颗重磅炸弹,提供了一个从理论到实践的完整范例。它或许还不是最终答案,但无疑为探索“AI如何与物理世界交互”指明了方向。当AI开始学会使用我们最常用的设备,下一个十年,世界会变成什么样?