谷歌首席AI科学家Jeff Dean在最新访谈中分享了关于AI未来发展的深度见解，从模型架构演进到人机协作模式变革，揭示了技术突破背后的关键驱动力。这些观点不仅解释了当前AI快速发展的底层逻辑，更预判了未来十年可能出现的颠覆性变革。
智能速览
大一统模型时代到来，专用模型将逐渐被通用模型取代
蒸馏技术是每次模型突破的核心驱动力，让小模型接近大模型效果
未来每个人可能拥有50个虚拟实习生，组成小组协同工作
模型知识可像软件包一样安装，按需调用专用模块
能耗而非算力正成为AI发展的真正瓶颈
延迟提升至1万token/s将使代码生成质量发生质变
精华内容
从重启万亿参数稀疏模型到设计TPU芯片，Jeff Dean几乎参与了现代AI技术栈每一层的构建。在这场深度对话中，他不仅复盘了关键技术决策，更对未来AI发展路径做出了极具前瞻性的判断。
模型演进路线
蒸馏技术已成为模型突破的核心驱动力。通过先训练超大模型再蒸馏成小模型的方式，Gemini新一代Flash版本能达到甚至大幅超越上一代Pro版本的效果。这种技术路线让小模型在保持低成本、低延迟的同时，获得了接近大模型的能力表现。
谷歌采用双轨制策略：一条线发展高能力前沿模型用于复杂推理；另一线发展低成本模型支持实时应用。两条线相辅相成，前沿模型的能力通过蒸馏传递给轻量模型。
公开基准测试的价值正在递减，当模型达到95%正确率后，边际收益极低。谷歌更依赖内部不公开的基准测试，确保模型获得真正的新能力而非数据泄露带来的虚假提升。
万亿token挑战
当前上下文长度已达百万级，但算法复杂度的平方级限制使其难以突破十亿token。真正的目标是营造"处理万亿token"的效果，这需要系统级创新：先用轻量模型筛选3万候选文档，再用强模型精挑117个最相关内容，最后用最强模型深度理解。
视觉是接近"王者模态"的存在。进化让眼睛独立演化23次，感知世界的能力至关重要。Gemini是目前唯一原生支持视频理解的模型，能直接从YouTube视频中提取信息生成结构化表格。
多模态不仅限于文本、图像等人类熟悉的形式，还包括激光雷达、医学影像等非人类模态。即使不在预训练中纳入所有数据，让模型理解这些模态的存在也很有价值。
能耗革命
能耗而非算力正成为AI发展的真正瓶颈。从片上SRAM传输数据到乘法单元需要1000pJ，而实际计算仅需1pJ。这就是批处理存在的根本原因——摊薄数据搬运成本。
低精度训练是降低能耗的关键方向。业界已在极低比特精度取得进展，配合权重缩放因子，效果稳定。减少比特数是最直接的节能方式。
TPU设计采用协同开发模式，提前2-6年预测机器学习需求。芯片与模型互相影响，有时会因芯片限制调整模型架构。试探性功能占芯片面积不大，但成功可能带来10倍提升。
人机协作未来
未来每个人可能拥有50个虚拟实习生，关键在于如何组织。最有效的方式是组成5个小组，只需对接组长即可。这种管理模式可能比传统层级化沟通效率更高。
使用AI写代码必须极其清晰地定义需求，这直接影响输出质量。未说明边界情况或性能要求，模型可能不会处理。这种要求正在提升人们无歧义描述目标的能力。
延迟提升至1万token/s将带来质变。模型不一定输出10000token代码，可能只有1000token代码，但背后有9000token推理过程，代码质量会大幅提高。这种能力将使人类不再需要阅读代码。
Jeff Dean的洞察揭示了AI发展的核心脉络：从专用模型到通用模型的转变、从算力到能耗的焦点转移、以及人机协作模式的革命性变化。这些趋势不仅影响着技术演进方向，更预示着未来工作方式的根本变革。当每个人都能拥有50个虚拟助手时，社会生产力将迎来怎样的爆发式增长？
关键评论
现在要让智能体写代码，必须极其清晰地定义需求，这直接决定输出质量
大模型带来的文本表示方式，让我们跳出了关键词必须精确匹配网页的硬限制
模型让主题和语义相关，而不是字面对应，这是搜索技术的质变
专家还是必要的，不然AI跟谁去学习呢？
