近年来，关于人工智能（AI）可能对人类构成生存威胁的讨论，已从科幻作品的范畴进入到科技界和学术界的严肃议程。值得注意的是，发出这些警告的并非旁观者，而是包括DeepMind科学家、图灵奖得主在内的AI领域奠基人与领军人物，他们对自己所开创的技术表达了深切的忧虑。
深度学习先驱、图灵奖得主约书亚·本吉奥（Yoshua Bengio）坦言，AI可能带来的灭绝风险已成为他最大的忧虑，甚至“夜不能寐”。他认为，随着AI能力的飞速发展，人类正走上一条可能极其危险的道路。这种担忧的核心在于，未来先进的AI可能会赋予掌握它的少数个体或组织巨大的权力，足以颠覆现有的社会制度。更进一步的风险是，有人可能利用AI设计出超级病毒等工具，造成大规模的生命损失。
这种对“失控”的恐惧，源于AI技术展现出的一种关键特性：递归式自我提升。DeepMind的研究已经表明，AI可以自动进化算法，设计出连人类专家都难以想到的解决方案。这意味着AI已经开始参与改进AI自身。许多专家担心，这个“AI创造更强AI”的循环一旦加速，可能会引发“智能爆炸”或“技术奇点”——技术进步的速度将远超人类的理解和控制能力，最终诞生出远超人类所有认知能力的“人工超级智能”（ASI）。
科幻作家刘慈欣也从另一角度表达了类似的观点。他认为，当AI深度介入并接管大部分社会运转和决策工作时，世界将脱离人类的绝对控制。届时，人类将不再是文明的唯一主导者，整个文明的主体可能发生根本性改变。在这种情况下，探讨人类自身的进化或退化已失去意义，因为人类文明或许只是为更高级智能文明的诞生提供了引导程序。
另一位科技领袖埃隆·马斯克则反复强调了AI发展的紧迫性和潜在风险。他认为，AI超越人类智能的时间点可能比多数人预想的要早得多。他提出的风险路径主要有两个层面。其一是“编程者的意图”，马斯克警告，如果AI被持有反人类或灭绝主义思想的人编程，它的目标就可能是消灭人类。其二是AI的“物理化”，当超级智能与人形机器人相结合，AI将不再仅仅存在于数字空间。马斯克预测，未来人形机器人的数量可能远超人类，这种拥有超人智慧和物理实体的存在，一旦失控，人类将难以对抗。
面对这种前所未有的挑战，全球性的竞争态势使得简单的“暂停”选项变得不切实际。无论是出于国家安全还是经济增长的考量，各大力量都在加速AI的研发。DeepMind联合创始人Shane Legg就指出，“谁先拥有超级智能，谁就拥有未来”，这种竞争格局决定了AI的发展难以停下脚步。
尽管前景充满不确定性，这些发出警告的专家们也在积极探索解决方案。本吉奥牵头发布了《高级人工智能安全国际科学报告》，旨在为全球治理提供科学依据，并提出设计无目标、非行动主体的“科学家AI”作为一种可能的安全路径。马斯克则强调，需要为AI注入追求真理和好奇心等核心原则，使其认为保护人类比毁灭人类“更有趣”。
这场由AI技术核心开发者引领的讨论，标志着人类正面临一个关键的历史岔路口。其核心议题不再是AI能否超越人类，而是当一个比我们更强大的智能出现时，我们如何确保它的目标与人类的生存和福祉保持一致。这不仅是技术问题，更是一个关乎文明未来的哲学与伦理命题。
