美东时间11月19日,Claude的开发商Anthropic在纳斯达克挂牌:每股83美元,公开发行9.8亿股、合计813.4亿美元,剔除超额配售后超过SpaceX今年6月的750亿美元纪录,成为史上规模最大的IPO。开盘111.50美元,收盘97.17美元、较发行价上涨约17%。也是在这一天,数十名抗议者聚集在其旧金山总部外,纽约时代广场同样出现抗议人群;带头公开呼吁禁止人工智能系统进行递归自我改进(Recursive Self-Improvement,简称RSI)的,是今年9月离职的前预训练研究员雅各布·考克森(Jacob Coxon)。知乎微博微博
标题里的两个问题可以合成一句话回答:递归自我改进,指的是"AI参与研发下一代AI,造出来的AI又更擅长造下一代AI"的自加速循环;而上市当天被喊禁的,并不是这个技术已经造出来的东西——它还远没有实现——被禁的是Anthropic身上的矛盾:它是警告这项风险最响的公司,也是把它卖成万亿美元上市最大卖点的人。

先弄清楚:什么才算"递归"自我改进
最容易的误解是把"模型又更新了"当成RSI。在斯坦福"直面AI的未来"大会上,李飞飞与Jeff Dean做过专门辨析:让AI自动尝试网络架构、挑出更好的方案,这属于自我改进——设计实验、选择方案的那个基础系统本身并没有因此变强,改进的收益会逐轮递减。严格意义上的RSI,要求改进能力本身也被改进:更强的系统去提出更好的方案,再由这些方案把自己继续推高。知乎
危险的根源在这个环。一旦改进速度由机器自己驱动,能力曲线可能不再是人类节奏上的斜坡,而是不等人的跳变——外部检查和决策跟不上迭代速度,权力也可能随之集中到最先跑通循环的一方手里。这正是各方讨论RSI风险时的逻辑起点。

技术走到哪了:真实进展和炒作都有
现实是,闭环没有跑通,但"AI帮AI做研发"已经在发生。评估机构METR在11月5日公布的Anthropic内部研发评估显示:自2025年10月以来,其模型在一组可衡量任务上的能力进步速度约为此前的1.9倍,AI参与研发很可能是加速的重要原因;METR同时强调这项估计存在较大不确定性,当前AI尚未能在模型训练的关键环节独立完成有重大意义的研究。Anthropic自己的技术说明也承认,完全自主开发继任模型仍未实现。概念却在升温:OpenAI研究科学家Noam Brown今年9月说,如果给工作排优先级,“第一优先级是递归自我改进,而且是遥遥领先的”。知乎知乎知乎

李飞飞对这场升温泼了冷水:硅谷如今对RSI一词的使用过于宽泛,作为科学家让她感到困扰。知乎
Jeff Dean则提醒物理极限:训练、计算和实验验证总归需要时间,所谓"自我改进循环能够无限加速"的想法并不现实——尽管他自己离职创办的公司,做的恰恰是AI自动化实验。知乎
为什么偏选上市这一天摊牌
喊禁的声音在11月18日——敲钟前夜——达到高点:一份名为《The MisAnthropic Statement》的公开信发布,近90位学者和行业人士联署,跨领域大佬里既有诺奖、图灵奖、菲尔兹奖得主,也有AI安全研究者、开源代表和加速主义人士。微博知乎
联署名单比措辞更有信息量:图灵奖得主Judea Pearl、诺贝尔奖得主Oliver Hart与Sheldon Glashow等学界声望人物之外,Hugging Face联合创始人代表开源阵营,xAI联合创始人来自Anthropic最直接的对手,e/acc创始人则是加速主义旗手,此外还有Gary Marcus、Tristan Harris、George Hotz等人。安全派、开源派、加速派平时在AI路线上彼此激烈争论,这次在"拒绝Anthropic的安全叙事"这一点上站到了一起——加速派并不反对RSI本身,他们反对的是"安全人设"被做成生意。微博
声明文本只有三句话:“Anthropic警告递归自我改进的AI可能集中权力并逃脱人类控制,却争先恐后地去建造它。公司利用安全品牌吸引投资者、员工和公众——即便它已悄悄削弱自身安全承诺,并为自利性监管进行游说。Anthropic不是一家安全的AI公司,我们必须拒绝它以更大利益为名、鲁莽积累权力的企图。”。微博

三句指控背后各有具体落点:公司一边向公众警示RSI风险,一边把自动化AI研究作为竞争优势讲给投资者;今年2月修订《负责任扩展政策》(RSP),删除了"若安全无法保证即单方面暂停训练更强模型"的承诺。微博
另一记软肋来自招股书本身:Anthropic在S-1风险章节罕见地写下警示——先进AI可能带来"灾难性或存在性风险";示警与万亿定价,出自同一批人之手。微博
考克森的行动是这条张力的极端版本。他曾在OpenAI和Anthropic先后担任预训练研究员,今年9月放弃巨额IPO期权辞职。知乎
据新智元报道,逼走他的是一张内部"算力乘数"曲线:纵轴对数刻度,曲线连坐标都压不住、还在加速上扬,而Anthropic在IPO路演中把这张图当成了头号王牌公开亮相。公司解释放弃单方面暂停,用的是最标准的军备竞赛逻辑——能力是否触及危险阈值本身就难判定,单方面停下只会把领先交给更不谨慎的对手。批评者要追问的恰恰是:当"停下来"的开关只握在公司自己手里时,安全承诺还剩多少约束力。知乎
"喊禁"其实是三种声音,证据边界也要划清
把当天的嘈杂声拆开,是三层不同的诉求:总部外的抗议者要的是字面意义上的禁止RSI研发;声明联署者要的是安全承诺变成外部可核查、能产生实际约束的安排,而非企业自证清白;至于Anthropic自己——Dario Amodei在敲钟仪式上回应:“我在此毫不含糊地表态,我们会严格把控AI系统训练与部署的节奏,花一切必要的时间去反复核验,确保它们足够安全、始终处于人类的控制之下”。今年9月,他已发表长文《We Must Pace the Frontier》,主张必须控制AI发展的节奏、把进步速度本身慢下来。三方共享同一个担忧——RSI一旦从实验室进入产品,改进速度可能跑在人类验证前面——分歧只在该由谁、用什么方式踩刹车。知乎微博
证据的边界同样要划清:目前没有直接证据表明任何公司已经做出闭环的递归自我改进,喊禁针对的是决策权与可核查性的缺口,不是已经发生的失控。接下来值得盯的信号有三个:METR这类第三方评估的"1.9倍"会不会继续走高;上市后的定期披露,会不会让安全投入第一次变成可被市场和公众检验的公开账本;以及州级和联邦监管,会不会去填那个被删掉的"单方面暂停"留下的空档。
当前文章无评论,是时候发表评论了