苹果正推动 Ferret-UI Lite 在 iPhone 本地运行，旨在让 Siri 具备识别和操作屏幕元素的能力。该技术通过链式推理和放大分析等手段，在设备端实现智能交互，既保护了用户隐私，又提升了响应速度，为未来 Siri 的智能化演进指明了新方向。
智能速览
Ferret-UI Lite 是一个约 30 亿参数的端侧模型，专为本地运行设计。
该模型引入放大机制，能精确识别屏幕界面上的微小元素。
在 GUI grounding 基准测试中，其准确率达到 53.3%，表现出色。
苹果此举旨在强化本地处理，以提升用户隐私保护和响应速度。
未来 Siri 有望通过此技术直接与应用进行交互，体验更智能。
精华内容
苹果的 Ferret-UI Lite 不仅仅是一次技术升级，更是对智能助手交互方式的深度探索。它如何让 Siri 变得更聪明、更懂屏幕？
技术核心
Ferret-UI Lite 是一个专为移动设备设计的端到端图形界面代理，参数量约为 30 亿，规模相对小巧，使其在 iPhone 等设备上本地运行成为可能。该模型基于海量的真实与合成 GUI 数据进行训练，确保其对各种应用界面有广泛的理解能力。
为了提升在复杂界面中的识别精度，它引入了一种类似人类“凑近看”的放大机制，即先对整体界面进行初步预测，再在关键位置裁剪放大图像进行二次分析，从而显著提升了细节识别的准确率。这种设计思路兼顾了效率与精度，是端侧 AI 模型应对高分辨率屏幕的有效策略。
性能实测
在严格的 GUI grounding 基准测试中，Ferret-UI Lite 展现了不俗的实力，取得了 53.3% 的准确率。这一成绩不仅优于 70 亿参数级别的 UI-TARS-1.5 模型，也证明了小参数量模型在特定 GUI 任务上的可行性。
尽管在部分需要复杂推理的 GUI 导航任务中，其表现仍不及更庞大的云端大模型，但对于一个本地运行的小型智能体而言，这样的性能已经具备了很强的实用潜力。这表明，通过算法和架构的优化，端侧 AI 完全可以在牺牲部分通用能力的前提下，在特定领域实现媲美甚至超越更大模型的效果。
未来路径
苹果研发 Ferret-UI Lite 的核心目标是推动 Apple Intelligence 的本地化演进。通过将更多计算任务留在设备端，Siri 等智能助手能够更快速地响应用户指令，同时从根本上杜绝了数据上传云端可能带来的隐私泄露风险。
未来的挑战在于如何进一步优化模型以适应不同设备的算力和能耗限制，并提升其在多应用、多任务场景下的泛化能力。不过，Ferret-UI Lite 的成功探索已经为行业提供了宝贵经验，预示着一个更智能、更私密、更流畅的本地 AI 交互时代即将到来。
Ferret-UI Lite 的出现，是苹果在端侧 AI 领域迈出的坚实一步。它不仅描绘了 Siri 变得更聪明的技术蓝图，更彰显了对用户隐私的重视。一个真正懂你、反应迅速且绝对私密的智能助手，你期待吗？
