Anthropic 发布的 Claude Computer Use 功能，让 AI 能像人一样操作电脑。这不仅是技术演示，更预示着人机交互的未来。通过实测，它能自主完成网页抓取、填表等复杂任务，展现了自动化工作的巨大潜力。
智能速览
新模型 Claude 3.5 Sonnet 登场，多项基准测试超越 GPT-4o。
“Computer Use”功能让 AI 可通过视觉识别与操作电脑。
实测演示了 AI 完成网页抓取、填表及绘图等任务。
当前技术存在分心和安全隐患，推荐在 Docker 沙盒中运行。
该功能通过循环 Prompt 实现，在 OS World 基准中领先。
AI 代理与未来机器人技术的结合值得期待。
精华内容
AI 不再只是对话，它已拥有了“手脚”。这项技术是如何实现的，又带来了哪些变革？
性能标杆
Anthropic 发布的最新模型 Claude 3.5 Sonnet，已成为新的行业标杆。
在研究生级推理（GPQA）、编程和视觉问答（VQAv2）等多项关键基准测试中，其得分均超越了 GPT-4o 与 Gemini 1.5 Pro，展现了更强的综合能力。
操控实录
本次更新的核心是“Computer Use”功能。AI 通过屏幕截图“看见”界面，分析后生成指令，模拟鼠标点击与键盘输入来操作电脑。
实测中，它能自主打开网页，抓取特定数据并填入表格，甚至根据指令完成绘图任务，流程高度自动化。
现实挑战
尽管功能强大，但该技术目前尚不成熟。AI 在执行任务时可能因外界干扰而分心，偏离主线目标。
同时，直接操控电脑带来了安全风险，官方建议在 Docker 沙盒等隔离环境中运行。此外，该功能消耗 token 的速度极快，导致运行成本高昂。
未来展望
Computer Use 功能的底层是循环 Prompt 机制：AI 观察屏幕状态、规划下一步操作、执行操作，然后循环往复直至任务完成。
该技术在 OS World 这一真实计算机环境基准测试中表现领先，预示着 AI 代理与实体机器人结合的广阔前景，尽管算力成本仍是当前的主要制约因素。
