AI发展已进入关键转折期,单纯依赖规模化已不足以驱动突破。微软亚洲研究院首席科学家韦福如从第一性原理出发,深度剖析当前AI面临的核心挑战,指出学习范式革命才是下一代AI的决定性跃迁方向,为理解AI未来演进提供了独特视角。

智能速览
规模化仍是AI第一性原理,但必须走向科学规模化
AI尚未学会学习本身,持续学习是最重要的基础能力
模型架构、学习范式和规模化构成AI三块基石
1比特量化有机会从本质上解决能耗问题
智能体规模化法则和经验法则将成为新推动力
研究、模型、产品是同一问题的一体三面
精华内容
当AI发展进入S曲线的平缓区,边际收益递减成为必然。如何找到正确的Scaling维度,实现从工程优化到范式迁移的跨越,决定了AI的下一个十年走向。
规模化的新定义
规模化作为AI的第一性原理,其核心是将计算和电能高效转化为智能。当前AI发展面临的放缓并非规模化本身失效,而是需要从单纯做大转向科学规模化。所有创新,包括模型架构、学习范式、数据、系统和硬件,最终都是为了更有效、更高效地规模化。规模化和创新构成驱动AI前进的双轮,缺一不可。当算力增长百万倍而数据增长滞后时,性能提升趋缓成为客观规律。In-Distribution问题已基本解决,但通用泛化能力仍需新突破。
学习范式革命
AI模型的基石包括模型架构、学习范式和规模化。其中,学习范式的革命将是决定性的。当前AI在记忆能力上表现强大,但学习能力仍远不如人类。模型训练完成后基本定型,无法像人一样在环境中持续成长。神经可塑性和预测性处理将成为AI最重要的研究课题。在线学习和持续学习已形成共识,但技术路径仍在探索中。RPT(强化预训练)和TPT(思考增强预训练)尝试将思考过程引入预训练,提升数据利用效率,这可能是突破S曲线平缓区的关键。
架构与系统协同
Transformer的成功本身就是算法与系统协同创新的结果。在模型架构上,1-bit LLMs将计算从浮点矩阵乘法改为加法,有望在能效和能源层面带来根本改变。这需要模型架构、系统和硬件的协同创新。多模态方向的核心是统一离散和连续数据的建模,BEiT到LatentLM的探索为原生全模态模型奠定基础。世界模型的核心作用是作为世界验证器和奖励模型,支撑多模态思考,最终与大模型融合而非外接。智能体系统将成为未来AI的重要形态,多个智能体有机协作类似人类社会。
新的规模化法则
AI进步依赖于找到正确的Scaling维度。除通用规模法则外,两个新法则值得关注:智能体规模法则关注智能体在复杂环境中连续工作时长与算力的关系,对商业化至关重要;经验法则或运行时规模化,通过运行和经验积累持续提升性能,与在线学习密切相关。这些新维度的叠加和切换,能够延续AI能力的发展曲线。从本质看,AI发展已从单一Scaling Law转向多维Scaling并行,包括预训练、后训练、测试时、强化学习、上下文和记忆等多个维度。
创新与必要性
创新的价值在于必要性,而非单纯追求不同。有意义的创新需满足两个条件:能做以前做不了的事情,同时保持向下兼容;带来量级效能提升,而非1%-2%的边际改进。Transformer依然强大,改良已能缓解大部分问题。通用与垂直模型的选择取决于必要性:当拥有大量无法公开的数据时,定制有意义;反之价值有限。定制往往是领域智能体而非基础模型,可通过RAG、微调或记忆实现。大模型推高智能上界,小模型在此基础上优化目标,两者相辅相成。
AI发展已从单纯的技术竞赛进入深度思考阶段。在规模红利递减的背景下,学习范式革命、持续学习能力和新规模化法则的探索,将决定AI的下一个突破方向。未来真正的变革不会来自单点优化,而是对智能本质理解的深度重构。这场范式迁移,不仅是技术问题,更是对智能边界的重新定义。