传统机器学习研究依赖专家手动设计算法，效率有限。谷歌团队提出了一种全新的方法，通过模拟生物进化，让算法自动“发明”和优化自身结构，不仅在经典任务上达到顶尖水平，还发现了人类未曾想到的新机制，为自动化算法设计开辟了新道路。
智能速览
“算法即基因”：将整套RL规则编码为可微分向量进行演化。
双层演化框架：先廉价淘汰再精确评估，兼顾效率与性能。
算法可自主“发明”：重现SAC、DrQ等经典技术，并发现新机制。
计算成本显著降低：总计算量比蛮力搜索低两个数量级。
精华内容
传统AutoML局限于优化超参数，而谷歌的新方法直接让算法“公式”本身参与进化，开启了自动化设计AI的全新篇章。
算法即基因
这项研究的核心创新在于将整个强化学习算法的更新规则，打包成一个可微分的“伪代码向量”，并将其视为算法的“基因”进行演化。
这个基因包含了超过50个算子，如损失函数、超参数、梯度组合方式、目标网络和正则项等。与传统AutoML仅搜索超参数不同，此方法通过变异、重组与选择，直接在公式层面进行进化，实现了从“调参”到“创生”的跨越。
高效演化策略
为了在庞大的算法空间中高效搜索，研究设计了一个双层演化框架。
第一阶段是“胚胎淘汰”，利用Brax廉价物理引擎，在30万步内快速筛选掉大部分表现不佳的算法，将一万个候选基因缩减至一百个。第二阶段是“成体评估”，将幸存者放到完整的Atari 100k和DMControl基准上，用五千万步进行精确评估，最终选出最优算法。整个过程将计算成本控制在5k TPU-days，比蛮力搜索低了两个数量级。
惊人的创造力
从一个完全随机的初始基因池开始，经过几十代演化，算法不仅能自动拼凑出已知的有效技术，还展现了超越人类专家的创造力。
它重新发现了SAC算法中的温度调节、DrQ算法的数据增强以及DDPG算法的双网络结构。更令人惊讶的是，它还独立“发明”了人类从未提出过的新机制，例如双时间尺度Q-target平滑和熵门控停止梯度，验证了该方法探索未知解决方案的巨大潜力。
这项研究展示了AI在自动化科学发现中的巨大潜力，或许未来，我们能见证算法完全自主地设计出更强大的下一代AI。这为解决复杂问题开辟了哪些新路径？
