"本地版Muse"拿到a16z的钱:27B压到7.9GB,社区实测10/18——换不换Saluki,看这三类机器

源自19位全网作者

08:11

10月19日,一条融资公告精准踩在本地AI玩家的痛点上:成立8个月的AI Agent创企Conway Research宣布拿到a16z、Anthropic旗下投资联合体,以及谷歌、OpenAI、Hugging Face系AI大牛的战投。它的首款产品Underdog被公司称作"迄今为止隐私性最强的Muse竞品"——和Muse给每个用户配一台云端虚拟机不同,Underdog完全跑在你自己的设备上,离线也能用。知乎36氪

而更贴近国内玩家的,是它背后的模型:Saluki 27B,10月上旬已经开源,Apache 2.0协议,GGUF权重约7.9GB。官方口径是:基于Qwen3.8-27B打造,权重体积压到全精度版的1/7、保留96%性能、工具调用优于Qwen原版。翻译成装机语言——一张8GB的卡就能塞下一个27B。知乎

在B站第一条发布视频下面,被顶起来的评论只有五个字:“有没社区实测”。几天后,实测来了。但结果,不太给官方口径面子。哔哩哔哩

一边是"96%",一边是480条公开台账

10月15日,知乎测试者"福满楼"放出一组同题对照:两台机器(单卡RTX 3090;一台AMD Ryzen AI Max+395迷你主机、128GB内存,但GPU占用强制限制在24GiB内),四份27B权重——Saluki(IQ2-mix,约7.90GB)、它模型卡声明的底版GSQ、Qwen3.8-27B的Q4和Q5(文件17.56GB和20.88GB)。题库12类,每个版本最多18次正式会话,题目和评分标准在第一个请求之前冻结,480条台账全部公开。

3090这端的主测完成数:Q5为12/18(修正换行误判后13/18)、Q4为12/18、底版GSQ为12/18,而Saluki只有10/18。395那端四份打平,全是9/18。知乎

更关键的是Saluki输在哪儿。它的基础题并不差:筛选、退款对账、日志查证、1.7万token长文档找数、条件概率,该过的基本都过了。但在三类题上翻车:基础代码题撞上60秒限时;简讯和写作题出现"生成2048token仍无正文"的失控;决策备忘录写出624字符,却因为把评测记录混成模型版本,编辑分只有11/20。而最难的三道(复杂依赖调度、整数优化、三人团队备忘录),八个部署没有一组交出合格主测交付。知乎

有意思的是"工具调用更优"这条官方卖点。在受控工具模拟器那题(找扩展坞、比价、预留库存),八份权重都答对了,但两台机器上最快的都是底版GSQ——3090只要10.94秒。Saluki在这道它被宣称特化的题上,没赢过自己的底版。

评论区先把分歧吵出来了

B站视频下几条高热评论,基本代表了圈内的三种立场:

  • 怀疑硬件党:“你确定普通电脑能流畅跑”——潜台词是别拿人均5090的演示当你的机器;

  • 技术拆解党:“看起来就是量化+针对性后训练,只补齐了工具调用的单方面能力,其他方面损失比bonsai2更大”;

  • 部署老手:“显存别只看权重,KV缓存也得留位置”“推理这块持续输出比能不能启动更要命”。

第三条恰好是实测数据印证的:Saluki固定生成解码约43 tok/s(3090)确实是四份里最快的一档,但完成数最少——解码速度、完整等待、完成会话数,是三种不同的"快",跑分党看第一个就够了,干活的人后两个才要命。

冲之前,先算清这三笔账

第一笔,空间账。 7.9GB只是权重。这组实测里GSQ采样峰值约10.33GiB、Q5约20.70GiB,32K上下文再加F16 KV缓存,还要在显存里继续吃地方。如果你的卡是24GB且现在跑Q4/Q5毫无压力,"省下来"不构成换的理由——实测里它省了空间,丢了完成数。7.9GB真正值钱的对象,是12GB及以下显存、或者想把27B塞进迷你主机统一内存的人。

第二笔,失败模式账。 “生成不收敛”(跑满token预算还不交正文)对聊天场景只是烦人,对Agent流水线是致命的——工具流程每轮都在等你永远等不到的那个JSON。给这类模型派活之前,先拿你自己的真实任务跑超时限制,别只看能否启动。

第三笔,口径账。 官方说的"保留96%性能"出自自家评测,实测用的是另一套冻结题库、小样本,测试者也明说"这组小样本不能证明通用能力等效"“不能因为文件只有7.9GB就称它替代了更大的量化”。证据覆盖到这里,结论就只能说到这里:方向是真的,交付还没到。

三类机器,三种处理

  • 24GB单卡党(3090/4090):按兵不动。已在跑Q4/Q5的,这次没有换的理由;如果日常只有筛选、对账、日志查证这类结构化流程,可以试GSQ系量化——实测里它占用比Q5少一半还多,等待也更短。

  • ≤12GB显存、迷你主机党:Saluki值得下载试跑,但岗位要摆对——当"能查台账、能核数字"的助手,别当调度任务和写决策的Agent。395这类机器的教训是四份权重完成数打平,文件小不等于更能干。

  • 想要Underdog那个"产品形态"的:它现在还是Mac/Windows邀测,iOS、安卓没上线。而"永远免费无广告、靠Stripe每笔支付抽成"是创始人的商业承诺,不是已验证的模式。真正值得盯的三个信号:官方会不会放出可复现的评测集、那个号称比MLX快4.5倍的Husky引擎会不会开源(注意730 tok/s说的是Woof 4B,不是Saluki)、以及国内nanoMuse、Mojito这批"本地Muse"开源衍生什么时候跟上Saluki这代底模。36氪

顺带一提"全本地"为什么突然成了资本的显学:Meta的Muse 9月8日发布,10天就超过ChatGPT登顶美国App Store免费应用总榜,OpenAI的Dot、Grok Bot、Manus 2.0接连跟进。国内用户却卡在注册环节,攻略帖里写得很直白:“打开Muse官网基本都进不去,闲鱼甚至出现了几十块钱一次的使用指导服务”。需求就在那里,只是云上那套进不了门。而10月19日同一天,美国国土安全部还下令联邦民事行政机构停止采购DeepSeek并要求从现有系统移除——"数据出不出门"本周彻底成了公开议题。云端个人Agent和全本地个人Agent,正好是这场议题的两种答案。36氪知乎微博

对本地部署党来说,这一轮钱砸的不是"7.9GB碾压17.6GB",而是"数据不出门的个人助理"这个方向。方向被资本确认了,7.9GB的27B门票也确实便宜了——但按实测交出来的成绩单,现在最划算的玩法,是拿它跑你已经验证过的具体流程,而不是期待它替你做还没验证过的决定。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章