模型蒸馏是什么?Anthropic 怕的不是你抄答案,是连草稿一起带走

源自132位全网作者

12:59

9 月,Anthropic 给 Claude Fable 5.1 改了一条 API 规则。多轮对话里,开发者如果把思考块之前的系统提示、工具或历史消息改了一个字,API 会直接报错;不想报错,就选“非严格模式”,代价是受影响的思考块会被删掉,假装没想过。所谓思考块,就是模型交卷前打的草稿:它先在心里演算一遍,再把最终答案给你。36氪

这条规则看着像工程细节,其实是在改一件更根本的事:模型“怎么想”不再是一段可以复制粘贴的文本,而是一张绑在账号和上下文上的凭证。

蒸馏本来不神秘。2015 年 Hinton 那篇论文说得很直白:让一个大的教师模型把输出交给小的学生模型,学生不必从零开始,就能用更低的成本学到接近老师的能力。到了大模型时代,连权重都不用碰。你只要不断调用 API,把问题、答案,尤其是中间的推理过程存下来,就是一套高质量的合成训练数据。

只抄最终答案,学生学到的是“结论”;连思考过程一起抄,学生学到的是“怎么走到结论”。后者对代码、数学、Agent 任务尤其值钱。Anthropic 在官方文档里把话说得很直:这类操作通常用数千个虚假账户,在工业规模上进行。Anthropic Help Center

数字也摆在那儿。Anthropic 2 月说,DeepSeek、月之暗面、MiniMax 三家注册了超过 2.4 万个虚假账户,与 Claude 交互超过 1600 万次。10 月它又说,新防线让可收割的推理数据下降了约 90% 到 99%,分类器误报率低于 0.1%。这些数字都来自 Anthropic 的单方披露,不是法院认定。知乎知乎专栏

Anthropic 给的另一层理由是安全:学生模型可能学到代码和推理能力,却没继承同等的拒绝规则。它在官方文档里写,这类系统会继承本来不该拥有的能力,却不会继承防止网络攻击和武器开发的保障措施。Anthropic Help Center

真正让它紧张的,不是有人学会了它的答案,而是它卖的东西本身就是教材。传统软件你用得再多,也很难凭使用记录重写一个 Windows;但模型不一样,模型可以当老师。每一次 API 调用在带来收入的同时,也把“怎么解题”暴露出去。用一句流行的话说:我负责交学费,你负责抄笔记。知乎

所以 Fable 5.1 的做法不是把答案藏起来,而是让思考块不能搬家:它必须和生成它的系统提示、工具、历史消息一起原样送回;换一个账号、换一段上下文,就失效。Anthropic 说,从 Sonnet 5.5 开始,思考块只能由创建它的账户,或与它关联的账户读取。目前这只针对 8 月 31 日之后创建的新 API 账户,Anthropic 说未来会扩到所有用户。Anthropic Help Center36氪

这套逻辑站得住,但边界并不干净。菲尔兹奖得主邓煜上个月说了一句很重的话:你不能只在你蒸馏全人类知识时支持蒸馏。模型本来就是吃人类的论文、网页、书籍长大的;现在它把思考过程锁起来,学界想看看它怎么想都不行。蒸馏是偷,还是学习?取决于谁有资格定义“授权”。IT之家

对普通开发者,变化很具体:上下文压缩、会话中途换工具、跨模型迁移,都可能触发新规则;被防护系统拦下、模型还没作答的请求,在特定类别里也可能计费。Anthropic 把反蒸馏做进了 API 的状态管理,而不是只做一套封号规则。知乎专栏

回到标题:模型蒸馏是什么?它本来是一种很普通的压缩技术,让小的模型学会大的模型。Anthropic 紧张的,是这件事在 API 时代变成了这样一笔账:它每卖一次智能,就可能多印一页教材。于是它开始给教材编号、绑定账户、检查借阅记录。至于这算保护知识产权,还是把公共知识再圈一次地,答案不在技术里,在合同里。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章