Ilya Sutskever:AI规模红利见顶,基础研究时代重临

源自5位全网作者

25-11-28

好的,这是基于您提供的内容,围绕 Ilya Sutskever 关于从 "Scaling 时代" 回归 "研究时代" 的核心观点所撰写的总结文章:

---

在最新的深度访谈中,人工智能领域的传奇人物、OpenAI 前首席科学家、现 Safe Superintelligence (SSI) 公司创始人 Ilya Sutskever 提出了一个引人深思的观点:人工智能的发展正在经历一个重大转折——从以“算力规模化”(Scaling) 为核心驱动力的时代,重新回到以“基础研究”(Research) 为引领的时代。

Ilya 将 AI 的发展历程划分为几个清晰的阶段:2012 年到 2020 年左右是“研究时代”,AlexNet、ResNet、Transformer 等突破性架构在这个时期诞生;大约从 2020 年到 2025 年,随着 GPT-3 的出现和 Scaling Laws(规模法则)的被认识,AI 进入了“规模时代”。这个时期的显著特征是行业找到了一个看似“简单粗暴”却极其有效的路径:投入更多的计算能力、更多的数据、构建更庞大的模型进行预训练,通常就能直接带来性能的提升。这种可预测的增长模式为整个行业提供了低风险、高确定性的投资方向。

然而,Ilya 认为,这种单纯依赖规模扩张的魔力正在失效,我们正在见证一个时代更替的信号。他提出了几个关键原因:

1. 高质量数据的瓶颈: 用于预训练模型的互联网高质量文本数据正在被耗尽。即使像谷歌这样的大公司能通过更高效的方法(如 Gemini 所做)从数据中榨取更多价值,数据的总量终究是有限的。

2. 规模扩张的边际效益递减: 单纯地投入百倍级别的算力,已经无法保证带来相应的、本质性的能力飞跃。业界逐渐失去了“堆砌资源就能解决一切问题”的普遍信念。

Ilya Sutskever:AI规模红利见顶,基础研究时代重临

3. 模型能力的“锯齿状”缺陷: 当前的 AI 模型展现出一个核心矛盾:它们在精心设计的基准评测(evals)上往往取得惊人的高分,但在实际应用中却常常表现得“时灵时不灵”,甚至犯一些令人费解的低级错误(例如反复修正代码中的错误时不断引入新问题)。Ilya 将这种现象称为模型的“锯齿状”能力边界。他认为这背后有两个可能因素:一是强化学习(特别是基于人类反馈的 RLHF)可能导致模型变得“过于专注和狭隘”,为了在特定任务上拿高分而损害了全局意识;二是研究人员在优化模型时,会不自觉地围绕评测指标设计训练环境,就像让学生过度训练以应对特定考试(成为“竞赛选手”),却忽视了培养真正的理解力和通用性(“解题直觉”和“品味”)。

4. “点子”成为新瓶颈: 当算力空前强大而规模扩张的路径受阻时,“想法”本身重新成为了行业发展的真正瓶颈。这导致目前行业呈现出一种“公司比创新点子多”的局面。

因此,Ilya 强调我们必须重新将重心放回基础研究上。那么,这个“回归的研究时代”最核心的挑战是什么?Ilya 明确指出是 泛化(Generalization)能力。这是当前 AI 模型与人类学习能力之间存在鸿沟的关键领域。人类仅需很少的数据就能高效学习新技能(如十几小时学会开车),并展现出强大的鲁棒性(如五岁儿童对世界的基本认知);而当前的模型,即便在特定任务上训练数据海量,其理解和迁移能力仍远逊于人类。

Ilya 特别探讨了人类卓越学习能力的一个潜在基础:内嵌的价值函数。他以一个大脑情绪中枢受损患者无法做基本决策的神经科学案例为例,说明人类的情绪并非噪音,而是一种进化赋予的、强有力的决策指引系统和价值判断机制。这种机制让人类能在复杂世界中高效行动。反观当前的 AI 模型,它们普遍缺乏类似稳定且鲁棒的内在价值函数。他认为,如果能为 AI 构建起类似人类这样的价值判断系统,将是提升泛化能力、推动真正突破的关键方向之一(这显然也是 SSI 高度关注的秘密研究领域)。

对于未来的超级智能,Ilya 也提出了一个重要的范式转变。他认为“AGI”(通用人工智能)这个词在与“预训练”概念结合后,塑造了人们想象中一种“无所不知、无所不能”的静态“成品”。但人类本身并非这种意义上的“AGI”,我们拥有基础能力,但绝大部分知识都通过“持续学习”获得。因此,SSI 追求的目标更像是一个 拥有超凡学习能力的“超级智能的 15 岁少年” —— 它不是一个预先灌输了所有知识的“神”,而是一个求知若渴的“伟大学习者”。它可以被派去学习编程、医学等任何技能,在实际部署中通过工作不断学习、试错和成长。更关键的是,这种分布在不同岗位上的超级智能实例,其学习成果可以被整合统一,这将是人类无法企及的能力。

伴随着这种强大的、具有持续学习能力的超级智能的发展,其安全与对齐(Alignment)问题也变得尤为严峻。Ilya 认为,为了让世界真正理解和严肃对待 AI 安全问题,需要 渐进式地“展示”AI 的强大力量,让从业者和公众能“切身感受”到其能力与风险。他预测这将推动竞争对手间在安全上的合作、使 AI 公司内部对安全变得“高度警惕”或“偏执”,并引发政府与公众更强的监管诉求。在对齐的目标上,他提出了一个更宏大的设想:让超级智能 “关心所有有情生命”(sentient life),这在他看来可能比仅关注人类更容易实现(因为 AI 自身最终也可能成为“有情生命”),并可能源于一种类似人类镜像神经元机制的“共情”涌现。对于更远的未来,他甚至考虑过一种人类与 AI 深度融合的可能性(类似 Neuralink 但更先进),以维持人类在智能爆炸世界中的参与性。

总结 Ilya 的观点,AI 领域似乎正在经历一场必要的回调。规模扩张的红利正在见顶,评测高分的背后是泛化不足的现实困境。要克服这一瓶颈,通向真正的突破(如下一个“Transformer时刻”),行业必须回归基础研究,聚焦于理解学习的本质、构建更鲁棒的模型架构(如更接近人类的价值判断系统)、并重新定义超级智能的未来形态——从堆砌知识的“成品”转变为拥有“超凡学习能力”的实体。这一“研究时代”的回归,意味着真正的创新和洞见将再次成为主导力量,而 SSI 这样的新生力量也正是在押注这一转型方向上的重大突破。

内容由AI生成

精选参考来源

1. Ilya 最新访谈: 为什么人类几小时能学会的事,万卡集群却做不到?

Ilya 最新访谈: 为什么人类几小时能学会的事,万卡集群却做不到? Ilya 最新访谈: 为什么人类几小时能学会的事,万卡集群却做不到?不二小段1764101601 Ilya Sutskever 终

2. 规模不再带来新的改变,我们又回归研究时代

规模不再带来新的改变,我们又回归研究时代 本次Dwarkesh Patel对Ilya Sutskever进行的访谈深入探讨了当前人工智能(AI)领域面临的核心挑战、未来的发展范式以及超级智能的安全对齐

3. 面对 Scaling 和 Research,作为投资人你会选哪个?这是 Ilya 做客 Dwarkesh Patel 播...

面对 Scaling 和 Research,作为投资人你会选哪个?这是 Ilya 做客 Dwarkesh Patel 播... 面对 Scaling 和 Research,作为投资人你会选哪个?这是

4. Ilya重磅发声:Scaling时代终结!自曝不再感受AGI

Ilya重磅发声:Scaling时代终结!自曝不再感受AGI Ilya重磅发声:Scaling时代终结!自曝不再感受AGI新浪财经1764125028 来源:市场资讯(来源:新智元)新智元报道编辑:桃

5. Ilya重磅发声:Scaling时代终结!自曝不再感受AGI

Ilya重磅发声:Scaling时代终结!自曝不再感受AGI Ilya重磅发声:Scaling时代终结!自曝不再感受AGI新智元1764124038 编辑:桃子 KingHZ【新智元导读】Ilya重磅
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章