AI终于能碰真实桌面了:Clawd Cursor把鼠标键盘交给Agent
Clawd Cursor 是一个面向 AI Agent 的开源桌面控制层,旨在解决模型在处理本地桌面应用时的交互盲区。不同于传统的聊天机器人,该项目通过 MCP 协议或 REST API,赋予 Claude Code、Cursor 等工具直接控制鼠标、键盘以及读取屏幕内容的能力,使其能够操作真实桌面环境中的应用程序。
01核心功能与交互模式
Clawd Cursor 将自身定义为“Skill”而非独立应用,能够无缝接入现有的 AI 开发环境。为了适配不同 Agent 的逻辑需求,它提供了两种交互模式,并配套了任务完成后的真实性验证机制,确保操作结果的准确性。
交互模式对比
高聚合工具集
推荐给大多数 Agent 使用
包含 6 个复合工具,涵盖截图、点击、窗口管理、系统交互、浏览器控制及自然语言任务执行
降低提示词成本,适合快速构建


细粒度工具集
提供 74 个独立工具,适合精细化控制
模型可执行具体的单一动作
适合需要精确操作步骤的复杂系统
在执行任务后,Clawd Cursor 不会仅依赖模型的自报结果,而是通过六类信号进行 Ground-truth verification,包括像素差异、窗口状态变化、焦点变化、OCR 变化、任务类型断言以及错误或弹窗等反模式检测,从而确保任务真正完成。
02安全机制设计
- 网络与访问控制
服务仅绑定本地 127.0.0.1,REST 调用需通过 Bearer Token 验证。 - 工具分级管理
工具操作分为 Auto(自动)、Preview(预览)、Confirm(确认)三个层级。 - 敏感动作拦截
发送消息、删除文件、购买等动作需额外确认;拦截 Cmd+Q、Ctrl+Alt+Del 等危险系统快捷键;对邮箱、银行、密码管理器等敏感类别设限。 - 统一安全网关
最新版本修复了不同入口规则不一致的问题,所有工具调用均经过统一 Safety Gate 检查。
03安装与接入配置
| 操作系统 | 安装命令 | 额外配置 |
|---|---|---|
| macOS / Linux | curl -fsSL https://clawdcursor.com/install.sh | bash | macOS 需授予辅助功能和屏幕录制权限:clawdcursor grant;Linux 需安装 tesseract-ocr、python3-gi 等依赖 |
| Windows | powershell -c "irm https://clawdcursor.com/install.ps1 | iex" | 需确保 Node.js 版本在 20+ |
各系统下的安装与环境配置
在接入主流 AI 工具时,需配置 MCP 服务器。以 Claude Code 为例,需在 ~/.claude/settings.json 中添加 clawdcursor 的命令与参数(args: ["mcp", "--compact"])。Cursor、Windsurf、Zed 等支持 MCP 的编辑器均可通过类似方式指向本地服务。
04适用人群与总结
- 适用人群
已在使用 Claude Code、Cursor 等 Agent 工具流;需要 Agent 操作本地 App 而非仅限命令行;跨平台自动化测试及内部 Agent 平台开发者。 - 项目现状
Clawd Cursor 目前虽未达到大规模成熟阶段,但明确了 AI Agent 向真实桌面渗透的技术路径,通过模型无关的设计和本地化的安全控制,为自动化任务提供了底层基础设施。
当前文章无评论,是时候发表评论了