别只让 Agent 看截图:有一只 AI 鼠标把自己开源了
过去两年,所有人都在教 AI 思考:推理模型、工作流、多智能体协作……大模型越来越聪明,发布会上的 Agent 无所不能——写代码、订机票、替你操作电脑。
但仔细看一眼那些演示,会发现一个共同的前提:AI 只能隔着屏幕“看”,用截图加虚拟点击来模拟操作。它看得见光标,握不住鼠标——Agent 的一切能力,最后都卡在“缺一只手”上。

市面上的 AI 鼠标,都做到哪一步了
先盘一盘大盘子:现在的智能 AI 鼠标,功能大同小异,基本停在三层。
最基础一层是语音打字:按住语音键说话,文字直接落在光标处,识别率普遍标到 98%、每分钟 400 字,方言、外语也能听懂——讯飞、星绩这些语音办公老牌选手,主打的就是这一层;
往上一层是按键快捷操作:截图识别文字、一键翻译、一键编辑,把好几步的办公动作缩成一次按键;
再往上,是给鼠标配一个大模型:星火、腾讯混元被装进配套软件里,AI 写作、PPT 生成、智能问答都在鼠标自带的 App 里完成。
三层摆在一起看,共同点很明显:AI 在鼠标上长出了耳朵和嘴——能听、能说、能答,但依然没有手。它住在配套软件的对话框里,等你把内容喂到面前,桌面上的东西,它一个都动不了。
那有没有把“手”补上的?最近我上手了一只把自己开源的 AI 鼠标——uMouse,这篇文章就聊聊:它能不能真的给 Agent 装上一只手。

uMouse:先是一只好用的鼠标
uMouse 先是一只好用的鼠标:三模连接、4 档 DPI、高精度传感器,插上就能满足日常办公与创作。
在好用的基础上,它把高频操作做进了按键里:截图、识别文字、翻译、编辑一触即达;还配了两款专属软件——UMouse 是创作工作台,AI 问答写作、生成图、生视频、办公板块一键搞定;ClawMouse 则是一个真正的智能体:内置 DeepSeek、豆包等主流模型,支持定时任务和知识库,还能通过 Computer Use 直接操控真实软件界面,比如在微信里自动填写培训通知草稿。
它把自己开源了
开发能力全部放在 GitHub 组织 SonicloudTech 下:按键事件、语音音频流、设备状态,都能通过 SDK 开放透传。开发者可以把它接进任何系统做出自己的玩法,普通用户也能借助 mouse-mcp,让 AI Agent 拿到一只真的鼠标。

GitHub 实景:sonicloud_opensdk 仓库 2.6k star,uMouse SDK 已独立成仓 mouse-sdk
玩法演示:把大模型换成自己部署的
开源带来的最实用一条玩法,是把 ClawMouse 接到自己部署的大模型上,三步就够。
第一步:本地起一个开源模型
去 Ollama 官网下载安装包,下一步下一步装完,打开终端敲一行命令,把 Qwen、DeepSeek 的开源版本拉到本地跑起来:
# 装好 Ollama 后,一行命令启动本地模型服务
ollama run qwen2.5:7b
量化后的小模型普通办公本就带得动,模型服务直接开在自己电脑上,不花钱。
第二步:把 API 换成自己的
打开 ClawMouse 的模型设置,把接口地址从云端改成刚起的服务——后台本来就支持一键换 API:
# 原来:云端模型的接口地址
https://api.xxxxx.com/v1
# 换成:自己电脑上的 Ollama
http://localhost:11434/v1
示意图:把接口地址从云端换成自己的 Ollama 服务
第三步:按住 AI 键试一句
任务照常派下去,这回应答你的,已经换成自己的模型了。
对企业,这是刚需:模型部署在内网服务器,敏感数据不出门,员工连软件都不用换。对个人玩家,这是玩法:哪家模型合口味就接哪家——鼠标是入口,脑子自己选。

用下来的感受
第一天,它像一只普通的语音鼠标:按住语音键说话,文字落在光标处,识别又快又稳。越用越发现后劲全在软件里——UMouse 能帮你画图做 PPT,ClawMouse 能替你跑定时任务、搭知识库、甚至操作微信——像请了一个会自己干活的办公团队;接上自己部署的模型之后,它更进一步,成了完全属于你的生产力入口。
对开发者和喜欢折腾的人,开源让它的上限高得多:协议、SDK、Demo 全都摆在 GitHub 上,想把它接进自己的系统、或者给 Agent 装上这只手,照着文档就能开工。

写在最后
Agent 缺的不是智力,是一只手。uMouse 是目前把这条路修通的那只鼠标——而开源,让这条故事线从一款产品,变成了一片生态。
开源仓库:https://github.com/SonicloudTech/sonicloud_opensdk
