Gemini 3的巨大进步并非源于单一的技术突破,而是一场深刻的研发范式革命。其预训练负责人揭示了AI前沿正从“构建模型”转向“构建系统”,这一转变重新定义了在数据有限时代下,实现人工智能持续进步的核心逻辑与关键路径。
智能速览
AI研发正从构建单一模型转向构建完整系统。
行业已从数据无限时代进入数据有限时代,数据质量至关重要。
规模定律依然有效,但架构与数据创新的边际收益已超越纯粹堆料。
合成数据是双刃剑,需警惕其可能导致的模型能力闭环退化。
建立严格隔离的内部评估体系,是避免研发自我欺骗的唯一方法。
长上下文与检索增强是未来的重要技术方向,应融入训练而非仅作为补丁。
精华内容
Gemini 3的巨大进步背后,并非某个颠覆性的魔法,而是一场深刻的研发范式革命。这种由研究、工程与基础设施深度融合的系统化方法,正成为驱动AI发展的新引擎。
研发范式的转变
构建顶尖AI的逻辑已发生根本性变化。Gemini 3的预训练负责人塞巴斯蒂安·布尔诺明确指出,如今不再仅仅是训练一个神经网络,而是在构建一个完整的系统。
这个系统涵盖了模型架构、多模态数据管线、TPU基础设施、评估与对齐机制,以及推理和工具调用等多个层面。DeepMind的CEO也总结道,真正的秘密在于研究、工程与基础设施三者的深度结合。每一代模型的进步,都依赖于一个数百人的团队在无数细节上持续“旋转旋钮”调试的结果。
数据时代的终结
一个贯穿访谈的关键判断是,AI行业已从“数据无限”的假设转向“数据有限”的现实。这意味着研究方式必须彻底改变,不能再简单地认为多抓取一些网页数据就能解决问题。
在此背景下,数据的质量、分布和策展方式变得前所未有的重要。评估指标也必须成为模型真实能力的精确代理。塞巴斯蒂安将当前的大语言模型研究类比为早年数据高度受限的ImageNet时代,许多当时的老方法正重新焕发价值。
规模法则的重估
面对“规模定律已死”的流行观点,塞巴斯蒂安给出了克制的反驳:规模依然重要且其好处可预测,但人们高估了它的唯一性。
在Gemini 3的实践中,性能提升来自于三条轴线的叠加:规模、架构创新和数据创新。在当前阶段,后两者带来的边际收益往往超过了单纯扩大参数规模。这表明,AI发展的驱动力正在变得更加多元和精细。
合成数据的双刃剑
对于今年爆火的合成数据,塞巴斯蒂安的态度十分谨慎。他提出了一个核心难题:用一个强大的模型生成数据,真的能训练出一个比它更强的模型吗?
他并非反对合成数据,而是警惕其可能带来的“闭环退化”风险,即模型训练模型可能只是在放大已有的偏差。虽然这一方向投入了大量研究,但其前提是极度的克制和严格的验证。
被低估的评估
在所有话题中,塞巴斯蒂安最强调的是那个被普遍低估的领域:评估。他指出其中三大困难:小模型的评估必须能预测大模型的行为;预训练的评估必须能预测后训练的效果;外部基准极易被污染。
因此,他得出的结论至关重要:在复杂系统中,唯一避免自我欺骗的方法,就是建立起严格隔离的内部评估体系,确保反馈的真实性和有效性。
未来的技术方向
Gemini 1.5的长上下文能力在Gemini 3中得到了扩展,塞巴斯蒂安认为这绝非噱头,而是代理代码理解和持续学习的基础设施。他本人参与的检索增强Transformer技术路线,依然被看好。
他相信,从长远看,检索与推理应当在训练阶段就以可微分的方式进行深度融合,而不是仅在后期训练时打补丁。这条路虽然复杂,但正逐渐走向成熟。