想象一下，只需一句话就能让手机或电脑自动完成订票、购物等复杂操作。蚂蚁集团发布的UI-Venus-1.5正将这一场景变为现实。它不仅能精准识别屏幕、理解指令，还能像人一样执行多步骤操作，其最新成果在多项测试中成功率接近80%，展现了下一代人机交互的巨大潜力。
智能速览
UI-Venus-1.5能通过自然语言指令，自动完成手机和网页的复杂操作。
它将多个专业模型融合为一个统一的智能系统，实用性大幅提升。
在AndroidWorld测试中，其任务成功率达到77.6%，接近人类操作水平。
系统专门针对40多个中国主流应用进行了优化，更贴合本土用户习惯。
它具备拒绝执行不合理任务的智慧，提升了操作的可靠性。
精华内容
从专科医生到全科医生，从死记硬背到边玩边学，UI-Venus-1.5的进化之路揭示了打造一个真正聪明的AI操作员所需的技术远见与工程智慧。
模型大一统
此前的AI操作系统如同“专科医生”，需要针对手机、网页、元素定位等不同任务训练专门模型，切换繁琐且能力受限。UI-Venus-1.5实现了从“专科”到“全科”的突破，研究团队采用TIES-Merge技术，将三个独立模型融合成一个统一的智能体。
这种融合并非简单叠加，而是精准保留各自优势并去除冲突，最终得到的统一模型在保持性能的同时，极大提升了实用性和易用性。测试显示，统一后的模型在AndroidWorld移动操作测试中成功率比前代提升了2.1%。
十亿字的特训
要让AI学会操作界面，需要海量的学习资料。UI-Venus-1.5的训练分为四个阶段：首先是基础知识学习，系统学习了涵盖30多个数据集的100亿token内容，建立起对图形界面的基本认知，其界面元素聚类分离度因此提升了34%。
接着是专项技能训练，系统分别在手机、网页和元素定位三个方向进行强化。然后是在线实战演练，通过在真实设备上执行任务来积累经验。最后，将这些知识融会贯通，形成一个能应对各种场景的完整智能体。
边玩边学的能力
传统的离线训练容易导致AI“会做题但考不好试”，即单步操作准确率高，但完整任务成功率低。UI-Venus-1.5引入了在线强化学习机制，构建了一个名为“设备即服务”（DaaS）的巨大练习场，让AI在数千台真实设备上“边玩边学”。
系统能根据实际执行结果调整策略，甚至会自我反思，优化操作流程。这种从实践中学习的方式，使其在AndroidWorld测试中的成功率从传统方法的约55%大幅提升至77.6%，并显著增强了面对未知情况的泛化能力。
学会说‘不’的智慧
一个可靠的助手不仅要会做事，更要懂得何时做不了。UI-Venus-1.5被赋予了“拒绝能力”，当面对无法完成的指令时，它会返回特殊坐标“[-1, -1]”，而不是盲目操作导致意外。
这一能力通过在训练中加入大量“不可能任务”来习得。虽然在不含拒绝任务的测试中可能略微拉低分数，但在更全面的评估中，它显著提升了系统的整体可靠性，让AI操作员变得更加值得信赖，避免了因强行执行错误指令而带来的风险。
本土化实战检验
技术的价值在于实际应用。UI-Venus-1.5专门针对40多个中国主流手机应用进行了优化和测试，涵盖社交、购物、出行、金融等高频场景。中国应用界面信息密集、流程复杂，对AI操作是巨大挑战。
研究团队通过分析真实用户行为，加强了系统的中文指令理解能力，使其能处理“买个便宜点的”、“找家评分高的餐厅”这类口语化、情境化的需求。实测中，系统能成功完成“在外卖应用订一份评分最高的川菜”等复杂任务，并有效应对广告弹窗、验证码等常见干扰。
UI-Venus-1.5不仅是一次技术突破，更预示着人机交互的未来范式。它展示了AI从理解世界到操作世界的巨大飞跃。尽管距离全面普及尚有距离，但在可靠性、个性化上的持续探索，正让“动动嘴就能办事”的智能生活图景愈发清晰。
