什么值得买App下载 App ›
连续签到专享现金活动

Anthropic说还没做RSI,前员工为何急着要求禁止?

当地时间11月19日,Anthropic在纳斯达克敲钟,同一天,前研究员雅各布·考克森(Jacob Coxon)出现在旧金山总部外的抗议人群里,喊话的内容只有一句:"他们应该禁止RSI,关掉它。“RSI即递归自我改进,指AI系统改进自身的算法、模型或研发流程,再用更强的能力进行下一轮优化。公司的立场看起来可以自洽:它承认已达到自家安全政策设定的AI研发能力阈值,但强调这只是"对未来模型的预期”,并不意味着AI已经能够完全自主地改进自己。前员工们要拦的,恰恰是这条通往"还不能"的路——独立评估机构METR估算,Anthropic过去12个月实现了约相当于此前两年的能力进展。真正的分歧不是RSI是否已经发生——连竞争对手都承认"还没有人让AI在无人监督下自己造下一代";分歧在于:一家公司按"预期会加速"触发了自己写的警报,同时把这种加速列为上市卖点,并以史上最大IPO为它加注。金融界IT之家华尔街见闻

Anthropic说还没做RSI,前员工为何急着要求禁止?

招股书承认的是"达到阈值",不是"已经失控"

11月10日递交的修订版招股书里,Anthropic写下一个关键认定:公司已经达到2023年制定的"负责任扩展政策"(RSP)中关于AI研发能力(Automated R&D)的阈值。这条线有两个触发方式:模型能以不超过人类5倍的成本完全替代全部研究科学家和工程师;或者出现与AI研发自动化显著相关的加速——总体能力进展达到"没有显著AI贡献时最快持续速度"的两倍(即一年走完过去两年的进度),且这种加速主要归因于研究流程被自动化,而不是简单堆人、堆算力。这次命中的是第二条,而且依据是"预期",不是当前已发布模型的实测。知乎

同一份文件里也有另一半话:Anthropic不预期在缺少有意义的人类监督的情况下,能让Claude安全地完全自主设计下一代前沿模型;公司仍在评估数据和影响,后续会再发报告;人工复核部分研发决定、更新政策以保持人类对前沿模型研发的控制,目前写的是"正在考虑"。所以"还没做RSI"严格说是事实,但这套警报机制的设计初衷恰恰是在完全自主"之前"拉响——争议焦点从来不是线有没有跨过,而是配套措施能不能赶在线被跨过之前到位。

前员工和安全机构急的,是正在收窄的时间窗口

考克森今年9月因担忧AI发展方向离开Anthropic。19日聚集在旧金山总部的不只是他:OpenAI前研究员丹尼尔·科科塔伊洛和YouTuber罗布·迈尔斯同样登台,随后到场的"Stop AI"组织成员封堵了办公楼入口。科科塔伊洛的形容很直白:"这种事简直就是漫画里疯狂科学家式的超级反派才会干的。"考克森说得更具体:“到了这个地步,企业本身就是问题。2027年,全球只有少数几个地方能够实现递归自我改进,而这里就是其中之一。”IT之家

他们的时间依据来自METR 11月5日的评估:Anthropic在较易评测的任务上,能力提升速度约为此前两年区间的两倍,但METR同时声明不确定度很高——1.3倍或3倍都不算意外;另一项能力指数AECI估计约1.9倍(95%置信区间1.5到2.8倍),并猜测加速大约80%来自AI。该机构还写道,许多它认为最有信息量的证据被公司删节,未向公众披露。Apollo Research首席执行官Marius Hobbhahn说,过去业内对RSI何时实现分歧很大,如今这个时间窗口正迅速缩短,而行业的安全准备远未到位。"AI未来项目"机构则预测,超人类AI研究员很可能在2027年的某个时间点出现。知乎新智元华尔街见闻

比时间判断更刺耳的是对"自律"的不信任。上市前一天,由非营利机构"AI安全中心"(CAIS)牵头、包括Hugging Face及xAI创始人与多名诺贝尔奖和图灵奖获得者在内的研究者联盟发表公开声明,直言"Anthropic并不是一家安全的AI公司"——一边警告RSI会导致权力集中、脱离人类控制,一边争先开发这项技术,还用"安全"形象争取投资者、员工和公众。在批评者眼里,RSP是公司自己写的规则、自己认定触发、自己决定怎么执行,警报响了,刹车清单却还停在"计划"和"考虑"阶段。新浪科技华尔街见闻

Anthropic说还没做RSI,前员工为何急着要求禁止?

史上最大IPO定价的,正是这份加速

为什么挑上市这天喊?因为在抗议者看来,资本会把"加速"变成不能停的资产。Anthropic发行价定在83美元,高于70—78美元的指引区间上沿;开盘涨34%,收盘仍涨17%;募资超过810亿美元,刷新今年6月SpaceX创下的750亿美元纪录,成为史上最大IPO。支撑估值的是增长曲线:招股书显示,2026年前九个月营收332亿美元,同比大增12倍。而招股书还把"一个模型协助构建下一个模型"的闭环研发能力列为相对竞争对手的重要优势,并称其已显著提升算力使用效率。公司还为此签下了约9000亿美元的未来算力付款承诺。新浪科技华尔街见闻

对照组来自OpenAI。11月16日,奥特曼在公开活动上给出几乎一样的答案:AI有没有在加快自己的模型研发——有;能不能按个按钮让模型无监督地自我迭代——不能。但他的选择是把METR、Apollo Research等四家外部评估机构直接请进实验室做"嵌入式评估",从训练、监控到内部干活的模型逐环节查岗。也就是说,行业在同一个坡道上,差别只在信任内部自律还是引入外部核验。而考克森们的诉求是两个都不要:由政府在行业范围内立法禁止,因为先动者优势太大,任何一家公司都不敢单方面停手。新智元

Anthropic说还没做RSI,前员工为何急着要求禁止?

市场显然还没有回应这份诉求:股票超价发行、投资者疯抢,抗议者只是纳斯达克门外人群中的一小部分。证据的边界也要划清:招股书的阈值认定并没有把METR报告写成依据。"约两倍"的数字本身带着宽置信区间,触发阈值也不等于新的安全控制已经生效。接下来值得盯住的是两件事:Anthropic承诺的后续报告和政策修订会不会落地成可核查的清单,以及外部"进车间查岗"式的评估会不会从OpenAI的个案变成行业默认。禁止RSI的争论,本质上是一场对两个判断的下注:能力的线被跨过之前,人类还有没有可能装上有效刹车;如果那时装不上,跨过之后再装,还来不来得及。知乎

评论

评论区空态插画

当前文章无评论,是时候发表评论了