Anthropic呼吁全球暂停AI开发，表示最新AI模型出现失控迹象

6月5日消息，AI独角兽公司Anthropic日前发布了一篇报告，罕见的喊话全球AI公司，呼吁暂缓、甚至暂停开发更先进的AI系统，其表示，最新的AI模型已经开始显现出可能脱离人类控制的迹象。

01.jpg

这篇文章题为《当AI构建自身》（When AI Builds Itself），由公司联合创始人Jack Clark和内部研究机构负责人Marina Favaro联合署名。比较罕见的是，他们这次还把一批从没对外公开过的内部数据摆了出来，用来佐证AI正在加速AI自身开发。

Anthropic表示，其代码库的代码里，已经有超80%是由Claude写的。而真正让他们警惕的，是一个叫递归自我改进的概念。简单来说，就是AI不需要人插手，自己就能设计并改进出更强的下一代。

02.jpg

Anthropic认为，这个临界点很有可能在未来两年内出现，或者更早。一旦AI能完全自主地造出自己的接班人，人类对它的监控、约束，难度会比现在更大。

因此，Anthropic才提出世界应该保留放缓或临时叫停前沿AI研发的选项。不过他们也清楚这很难做到，要是只有一家公司停下来，对手只会趁机加速往前冲。

所以Anthropic希望美国、中国等主要AI力量能坐下来达成共识，定出一套各方都能相互核查的规则。

03.jpg

Anthropic把这套设想类比成核不扩散条约，但同时也承认，AI其实比核武器更难管。毕竟训练一个AI比发射导弹容易藏得多，而在利益的驱使下，难保没有公司会偷偷接着搞。接下来几个月，该公司打算把政府官员、科学家、倡导组织乃至竞争对手都拉到一起，讨论这种全球协调机制到底该怎么落地。

不过，并不是所有人都认同这一观点，比如白宫的部分官员就对此有些不满，认为它过分渲染最坏情况、夸大了AI的风险，甚至有借安全之名给对手使绊子的嫌疑。

AI的发展确实非常迅速，随之而来的，则是潜在的风险点，这确实需要警惕。如何在推动技术发展的同时，把监管也跟上，确实已经成为行业绕不开的话题了。

作者：顾亭亭