Karpathy:任何能快速评估的技术,都能让AI自主研究。未来人类只需要提供灵感,剩下的,交给AI就够了
2026年3月,OpenAI前AI高级科学家Andrej Karpathy开源了一个名为Autoresearch的项目。该项目旨在探索AI自主研究的可行性,通过构建一个自动化的闭环系统,让AI代理能够独立完成代码修改、实验运行和效果评估。Karpathy指出,随着技术的发展,未来的前沿研究将由自主AI代理在云端集群中完成,Autoresearch正是这一模式的起点。
01项目架构与核心原理
Autoresearch项目设计极为精简,总代码量仅为630行,核心文件包含3个。其核心逻辑在于构建一个“递归自我改进”的循环,使AI能够像人类研究员一样进行试错和迭代。该系统主要针对GPT类模型进行优化,通过严格的机制确保实验的可比性与可控性。
- 读指令
AI读取人类编写的program.md文件,获取研究目标,如优化注意力机制或调整优化器参数。 - 改代码
AI仅被允许修改train.py文件,该文件包含完整的GPT模型定义,限制了修改范围以降低系统风险。 - 跑实验
系统严格执行5分钟的硬性时间限制进行训练,确保所有实验在相同的时间成本下进行公平对比。 - 打分与决策
使用val_bpb(验证集bits per byte)作为核心指标,数值越低代表模型效果越好。若效果改善则保留修改,若变差则直接回滚代码。
02实测数据与技术效果
Karpathy对该系统进行了实测,让AI自主运行了2天时间。实验数据显示,AI在此期间执行了近700次代码修改,最终筛选并保留了20个有效的优化点。这些优化包括修复注意力机制参数、为嵌入层添加正则化以及调整优化器系数等细节。通过这些自动化改进,训练出GPT-2级模型的时间从2.02小时缩短至1.80小时,效率提升约11%。
| 评估维度 | Autoresearch (AI自主) | 传统研究模式 (人工) |
|---|---|---|
| 实验速度 | 一晚可运行近100次实验 | 受限于人工操作,速度较慢 |
| 优化效率 | 训练时间缩短11% (2.02h→1.80h) | 依赖经验,迭代周期长 |
| 工作时长 | 24小时不间断运行 | 受限于人类生理作息 |
| 主要任务 | 代码修改、实验、评估、回滚 | 方向设定、代码编写、结果分析 |
AI自主研究与传统研究模式对比
03人类角色与操作流程
在Autoresearch框架下,人类与研究AI代理的分工发生了明确变化。人类不再参与具体的代码编写和实验调试,转而负责宏观的设定与环境维护。部分用户反馈认为,这种模式虽然极大地释放了人力,但也对研究者的“提示词工程”能力提出了更高要求,如何准确描述program.md成为关键。
人类与AI的职责划分
人类职责
负责宏观环境与目标设定
- 初始运行环境搭建与依赖安装
- 编写研究大纲
- 定期查看日志,将有效结果应用到实际模型中
AI职责
负责微观执行与迭代优化
- 基于指令修改train.py代码
- 执行5分钟训练实验
- 进行val_bpb指标评估与代码回滚决策
该项目的操作门槛较低,支持Mac、Windows及CPU环境。对于算力有限的设备,用户可以通过更换轻量级数据集的方式进行体验。基本的操作流程包括安装依赖、准备数据、进行手动测试以及将项目交付给AI代理运行。
- 安装运行工具与项目依赖。
- 准备并配置训练所需的数据集。
- 进行手动测试以确保环境正常运行。
- 配置program.md并启动AI代理,等待自动化实验结果。
Autoresearch通过固定实验时间和统一评分标准,实现了优化过程的可追溯性与公平性。Karpathy认为,任何能够快速进行评估反馈的技术领域,都可以应用这种AI自主研究模式。未来,随着单GPU向多AI协作集群的扩展,这种自动化研究闭环有望成为AI实验室的主流范式,人类研究者的核心价值将集中于提供初始的灵感与方向。
当前文章无评论,是时候发表评论了