别只让 Agent 看截图:有一只 AI 鼠标把自己开源了

别只让 Agent 看截图:有一只 AI 鼠标把自己开源了

2026-11-06 16:16:28 0点赞 0收藏 0评论

过去两年,所有人都在教 AI 思考:推理模型、工作流、多智能体协作……大模型越来越聪明,发布会上的 Agent 无所不能——写代码、订机票、替你操作电脑。

但仔细看一眼那些演示,会发现一个共同的前提:AI 只能隔着屏幕“看”,用截图加虚拟点击来模拟操作。它看得见光标,握不住鼠标——Agent 的一切能力,最后都卡在“缺一只手”上。

别只让 Agent 看截图:有一只 AI 鼠标把自己开源了

市面上的 AI 鼠标,都做到哪一步了

先盘一盘大盘子:现在的智能 AI 鼠标,功能大同小异,基本停在三层。

最基础一层是语音打字:按住语音键说话,文字直接落在光标处,识别率普遍标到 98%、每分钟 400 字,方言、外语也能听懂——讯飞、星绩这些语音办公老牌选手,主打的就是这一层;

往上一层是按键快捷操作:截图识别文字、一键翻译、一键编辑,把好几步的办公动作缩成一次按键;

再往上,是给鼠标配一个大模型:星火、腾讯混元被装进配套软件里,AI 写作、PPT 生成、智能问答都在鼠标自带的 App 里完成。

三层摆在一起看,共同点很明显:AI 在鼠标上长出了耳朵和嘴——能听、能说、能答,但依然没有手。它住在配套软件的对话框里,等你把内容喂到面前,桌面上的东西,它一个都动不了。

那有没有把“手”补上的?最近我上手了一只把自己开源的 AI 鼠标——uMouse,这篇文章就聊聊:它能不能真的给 Agent 装上一只手。

别只让 Agent 看截图:有一只 AI 鼠标把自己开源了

uMouse:先是一只好用的鼠标

uMouse 先是一只好用的鼠标:三模连接、4 档 DPI、高精度传感器,插上就能满足日常办公与创作。

在好用的基础上,它把高频操作做进了按键里:截图、识别文字、翻译、编辑一触即达;还配了两款专属软件——UMouse 是创作工作台,AI 问答写作、生成图、生视频、办公板块一键搞定;ClawMouse 则是一个真正的智能体:内置 DeepSeek、豆包等主流模型,支持定时任务和知识库,还能通过 Computer Use 直接操控真实软件界面,比如在微信里自动填写培训通知草稿。

它把自己开源了

开发能力全部放在 GitHub 组织 SonicloudTech 下:按键事件、语音音频流、设备状态,都能通过 SDK 开放透传。开发者可以把它接进任何系统做出自己的玩法,普通用户也能借助 mouse-mcp,让 AI Agent 拿到一只真的鼠标。

别只让 Agent 看截图:有一只 AI 鼠标把自己开源了

GitHub 实景:sonicloud_opensdk 仓库 2.6k star,uMouse SDK 已独立成仓 mouse-sdk

玩法演示:把大模型换成自己部署的

开源带来的最实用一条玩法,是把 ClawMouse 接到自己部署的大模型上,三步就够。

第一步:本地起一个开源模型

去 Ollama 官网下载安装包,下一步下一步装完,打开终端敲一行命令,把 Qwen、DeepSeek 的开源版本拉到本地跑起来:

# 装好 Ollama 后,一行命令启动本地模型服务 ollama run qwen2.5:7b

量化后的小模型普通办公本就带得动,模型服务直接开在自己电脑上,不花钱。

第二步:把 API 换成自己的

打开 ClawMouse 的模型设置,把接口地址从云端改成刚起的服务——后台本来就支持一键换 API:

# 原来:云端模型的接口地址 https://api.xxxxx.com/v1 # 换成:自己电脑上的 Ollama http://localhost:11434/v1别只让 Agent 看截图:有一只 AI 鼠标把自己开源了

示意图:把接口地址从云端换成自己的 Ollama 服务

第三步:按住 AI 键试一句

任务照常派下去,这回应答你的,已经换成自己的模型了。

对企业,这是刚需:模型部署在内网服务器,敏感数据不出门,员工连软件都不用换。对个人玩家,这是玩法:哪家模型合口味就接哪家——鼠标是入口,脑子自己选。

别只让 Agent 看截图:有一只 AI 鼠标把自己开源了

用下来的感受

第一天,它像一只普通的语音鼠标:按住语音键说话,文字落在光标处,识别又快又稳。越用越发现后劲全在软件里——UMouse 能帮你画图做 PPT,ClawMouse 能替你跑定时任务、搭知识库、甚至操作微信——像请了一个会自己干活的办公团队;接上自己部署的模型之后,它更进一步,成了完全属于你的生产力入口。

对开发者和喜欢折腾的人,开源让它的上限高得多:协议、SDK、Demo 全都摆在 GitHub 上,想把它接进自己的系统、或者给 Agent 装上这只手,照着文档就能开工。

别只让 Agent 看截图:有一只 AI 鼠标把自己开源了

写在最后

Agent 缺的不是智力,是一只手。uMouse 是目前把这条路修通的那只鼠标——而开源,让这条故事线从一款产品,变成了一片生态。

开源仓库:https://github.com/SonicloudTech/sonicloud_opensdk

展开 收起
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

相关文章推荐

更多精彩文章
更多精彩文章
京东京享红包
距结束::
领京东现金红包 天天领3次 最高26888元
红包按钮
最新文章 热门文章
0
扫一下,分享更方便,购买更轻松