为何模型蒸馏让Anthropic忌惮

源自163位全网作者

13:09

Anthropic 忌惮模型蒸馏,根子不在舆论,在收入结构:它卖的东西,就是模型输出本身。其 2026 年 10 月底递交 SEC 的 S-1 招股书里,按 token 计费的"消费式"收入占上半年收入约八成,订阅只占约两成。蒸馏做的事,恰好是把这份资产整本搬走:构造数十万条 Prompt 批量调用顶级模型、回收其链式推理与代码输出,可能只需要几十万美元的 API 费用。自研一个旗舰要烧数万张尖端算力卡和数亿美元投入,蒸馏把这条路的复制成本压到两个数量级以下——这是对按输出收费商业模式直接的收税。知乎知乎

这份忌惮已被 IPO 文件量化:在截至 2026 年 9 月 30 日的九个月里,约 5%~7% 的收入来自后来被认定违反使用政策或商业条款的客户,公司同时警告,8 月、9 月刚加强的违规识别和执行措施,未来可能拖累总体收入与增速。被威胁的是已经很大的盘子:今年前九个月累计营收 332.42 亿美元,而公司签下的算力与基础设施支出承诺接近 9000 亿美元——反蒸馏执行每收紧一步,都是从自己的报表和增长故事里割肉。知乎

真正值钱的不是答案,是推理过程

Anthropic 语境里的蒸馏攻击,指未经原开发者授权、秘密进行的产业级能力提取。攻击者最看重的是推理转录:模型在回答前生成的思考过程记录。只拿走答案,学到的是结果;连思维链一起拿走,学的是强模型"怎么走到这个结果"。知乎

Anthropic 用自家 Claude Opus 4.8 做过对照:预训练模型用完整推理记录蒸馏,在编程基准 SWE-bench Verified 上得分 80.4%;材料换成摘要记录,掉到 71.8%。摘要化能削弱材料价值,却不足以让提取无利可图——于是攻击转向主动诱导,某家实验室一次性测试了 12,000 条不同问法,专门寻找让模型交出隐藏推理的漏洞。知乎

规模可以从 Anthropic 今年 9 月的威胁情报报告里读出:其称 Moonshot 在一次约 10 天的行动里用了 5380 个欺诈账号,把大量用户请求转发给 Claude;约 14 天里观察到超过 1210 万次与 DeepSeek 相关的 Claude 交互;还把 5 到 7 月一次涉及超过 1.51 亿次交互、峰值近 300 万次请求/天的提取行动归因于阿里。需要保留归因:这些蒸馏行为、请求转发和用户关联都是 Anthropic 的单方指称,被点名的公司均未证实,报告数字也只是其对自有系统与账号活动的观察。知乎

三层防线,以及防线自己的账单

10 月 12 日发布的防御研究把反蒸馏拆成三个工程环节:推理复用、请求识别、账号运营。preserved thinking 限制旧思考块跨对话、跨模型、跨组织搬运;两阶段分类器筛查并拦截提取请求,公布误报率低于 0.1%;持续尝试的账号被限流、封停,Anthropic 称已封停数以万计的账号,不少从动手到停用不到两小时。知乎

效果是 Anthropic 的早期估计:过去每天能提取 100 份推理数据的攻击者,如今只剩约 1 到 10 份。但口径必须先说清:这测的是攻击者在 Anthropic 自有平台上的提取量,蒸馏模型还能学到多少能力要另行评估,且公司承认目前尚未遇到高度成熟、持久的绕过尝试。把"收割量下降 90%~99%“读成"对手能力下降 90%~99%”,是站外传播里最常见的一步偷换。知乎

守门本身也是生意:Anthropic 称,为阻止蒸馏它拒绝了数万亿 token 的付费流量,放弃了可观收入;自 9 月 24 日起,对部分被拦截、尚未作答的请求恢复收费。防御还要补供应链的漏——11 月 4 日,Anthropic 公布大模型"可证明推理"进展,开源密码学验真系统 FlashProve,让开发者 17 秒验证一条回答出自哪个模型,堵的正是"付顶配的钱、后台跑缩水小模型"的转售灰色地带。知乎知乎

忌惮绕不开的两道硬题

第一道题是双标。蒸馏本身是行业常规技术:谷歌的 Flash 线从自家 Pro 蒸馏而来,Meta、DeepSeek 干脆开放用输出训练他人的权限,闭源厂与开源厂对"蒸馏"的两种态度,分野在商业模式而非技术对错。真正刺眼的矛盾在于,模型公司靠全人类公开语料完成冷启动,却把自家输出锁进保险柜——“巨头爬全网不算偷,同行调 API 就算窃”,是这场争论里被引用最多的批评。新晋菲尔兹奖得主邓煜在公开活动里的质问因此刷屏:用全人类的知识训练人工智能,转头却以防蒸馏为由,把思维链锁起来不让人看。知乎

第二道题是忌惮的对象不只是 Claude 的权重,还有市场本身。Anthropic 重要股东 Menlo Ventures 11 月 3 日发布的企业 AI 报告测算:美国企业花在开源模型上的生产开支,中国模型占了近九成,其中 Kimi 独占 61%,DeepSeek 15%、GLM 11%。必须说清这条数据的边界:企业支出份额只能证明竞争压力真实存在,不能反推这些开源模型来自 Claude 蒸馏——两者的因果目前只有 Anthropic 的单方指控。但对一家按 token 卖能力的公司来说,"更便宜的同级替代品"每多一个,估值故事里的毛利率就薄一层。知乎

上市前夜,这笔账怎么被检验

Anthropic 仍计划按原时间表推进 IPO,争取 11 月 26 日感恩节前登陆纳斯达克,拟募资 800 亿至 1000 亿美元,市场预期的估值中心值约 1.5 万亿美元。上市之后,两个信号比防御报告更诚实:一是违规收入占比会不会随执行收紧持续下探 5% 的下沿——那是反蒸馏真金白银的代价;二是"收割量下降 90%~99%"能否在成熟、持久的对手面前守住。只要收入结构里仍有约八成来自按输出计费,蒸馏就永远是离收银机最近的那台复制机——忌惮不会结束,只会随每一代模型的价格表重新定价。知乎

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章