Karpathy:Agent的本质是蒸馏,99.99%的模型容量被浪费

源自7位全网作者

11-02 11:32

Karpathy:Agent的本质是蒸馏,99.99%的模型容量被浪费

同时开几个AI窗口的晚上,你大概也经历过:左边在跑测试,右边卡在报错,中间那个等你确认。AI把活干了,你却成了专门盯它的人工接线员。

11月1日,前OpenAI联合创始人Karpathy在一次16分钟的对谈里,把话挑明了:Agent的本质,就是大规模蒸馏。你花大价钱跑的那个大模型,99.99%的容量都浪费在了它压根用不上的数据上。微博

这不是情绪话。他给了一条跑得通的路线:先用大模型把能力蒸馏进小模型,再给小模型配上对的工具,最后用一个闭环把系统串起来。三件事里,闭环最关键——小模型一旦进了闭环,能自我校正、自我改进,越跑越强。

第二天,他又丢出一个两小时的视频,把Agent、Harness、Loops、Graphs一层层拆开讲。这跟他7月那篇《LOOPS.md》一脉相承:Agent落地的瓶颈,早就不是模型的智商,而是你给模型搭的外壳。提示词的杠杆已经见顶,现在拉开差距的是流程。微博知乎

有意思的地方在这:Karpathy说模型要变小的时候,DeepSeek刚走了一条几乎相反的路。

Karpathy:Agent的本质是蒸馏,99.99%的模型容量被浪费

10月31日,DeepSeek Harness团队发布Super-agent设计文章,同时开源了原型。它的解法不是把模型变小,而是把多路会话折叠到幕后:前台一个Router管分派,后台多个上下文隔离的Worker并发干活,目标是用更多的算力,换回你的注意力。项目铁律写在README开头——占用尽可能少的人类注意力,提供尽可能多的价值。36氪知乎知乎

Karpathy:Agent的本质是蒸馏,99.99%的模型容量被浪费

收益和代价,官方实验里都写了。先看收益:合成负载下(写代码那一步换成了只耗时间的模拟工具),Super-agent的p95完成时间是15.7分钟,单会话方案要29.5分钟。再看代价:拿掉订阅直通,Router的决策次数要多出约30%,读取缓存的token要多涨约37%。说白了,它花的是机器的钱,省的是你盯窗口的时间。知乎知乎

Karpathy:Agent的本质是蒸馏,99.99%的模型容量被浪费

两条路线方向相反,指向的却是同一个判断:瓶颈已经不在模型这边了。Karpathy认为在闭环和外壳,DeepSeek的观察是,一个人通常只能同时跟进3到5个活跃会话,多任务的上限卡在人身上。知乎

热度是实打实的:原型建仓一天半,7460星;母项目DeepSeek Harness已经26.8万星。知乎

但想上手,先掂量门槛和权限。门槛上:Node.js 22.19以上、tmux、单独的GitHub账号,一个实例只守一个仓库,消息来源目前只有GitHub和飞书。权限上:Router和Worker两个会话都以系统用户身份全权限运行,Worker执行命令不用你审批,整个home目录它都能读——装之前,最好单独开一个只放Agent凭据的账号。知乎

Karpathy:Agent的本质是蒸馏,99.99%的模型容量被浪费

评论区追问最多的两件事:跨会话记忆会不会把工作隐私带进生活场景,以及"想玩这一套,token还是有点烧钱"。前一个问题,官方文章自己在开放问题一节列了"安全与隐私"。也就是说,这个担心暂时还没有答案。后一个,评论区有人算了账:高峰期单日20亿token,“真是快烧空钱包了”。知乎知乎

所以先别急着押注哪条路线。想看懂方向,把那篇设计文档读完,收获比装起来更大;真要动手,白名单只放你自己,主动接单留在观察档——先看几天它"本来会接哪些活",再决定要不要放手。

精选参考来源

1
Karpathy 开炮了。这位前 OpenAI 联合创始人、前特斯拉 AI 负责人,在一段 16 分钟的对谈里,把当下 Agent 热潮的底裤扒了个干净。他说得很直接:Agent 的本质就是大规模蒸馏。你花大价钱跑的那个大模型,99.99% 的容量都浪费在了它压根用不上的数据上。听起来刺耳,但你仔细想想,事实就是这样。然后他给出了一条真正能跑通的技术路线:先用大模型把能力蒸馏到小模型里,再给小模型配上正确的工具,最后用一个闭环把整个系统串起来。小模型、正确的工具、一个闭环,三件事,够了。这里面最关键的一环,是闭环。小模型本身并不可怕,可怕的是它一旦接入闭环,就能自我校正、自我改进,越跑越强。模型的参数量可以小,但只要反馈回路搭对了,它就能长出远超参数规模的实战能力。所以别再为更大的模型交税了。真正让一个 Agent 变得危险的,从来都不是参数量,是闭环。这 16 分钟的信息密度,比今年市面上任何一门 500 美元的 AI 课都高。看完之后,再去读那篇 Harness, Loops, Graphs,你就会明白:闭环就是那副马具,套上了,小模型才能真正跑起来。#科技先锋官##How I AI##微博视频号续航计划# AIGC·非著名程序员的微博视频
2
Karpathy又丢了个两小时的硬货出来。这回不聊虚的,直接拆AI Agent到底怎么转起来的——Agent、Harness、Loops、Graphs,一层层给你讲清楚,不是停在“跟模型聊天”那一步。想搞明白Agent背后那套东西的,这期值得找个整块时间认真看一遍。 张岱樾的微博视频
全部
来源
内容由AI生成

精选参考来源

1. Karpathy 开炮了。这位前 OpenAI 联合创始人、前特斯拉 AI 负责人,在一段 16 分钟的对谈里,把当下 Agent 热潮的底裤扒了个干净。他说得很直接:Agent 的本质就是大规模蒸馏。你花大价钱跑的那个大模型,99.99% 的容量都浪费在了它压根用不上的数据上。听起来刺耳,但你仔细想想,事实就是这样。然后他给出了一条真正能跑通的技术路线:先用大模型把能力蒸馏到小模型里,再给小模型配上正确的工具,最后用一个闭环把整个系统串起来。小模型、正确的工具、一个闭环,三件事,够了。这里面最关键的一环,是闭环。小模型本身并不可怕,可怕的是它一旦接入闭环,就能自我校正、自我改进,越跑越强。模型的参数量可以小,但只要反馈回路搭对了,它就能长出远超参数规模的实战能力。所以别再为更大的模型交税了。真正让一个 Agent 变得危险的,从来都不是参数量,是闭环。这 16 分钟的信息密度,比今年市面上任何一门 500 美元的 AI 课都高。看完之后,再去读那篇 Harness, Loops, Graphs,你就会明白:闭环就是那副马具,套上了,小模型才能真正跑起来。#科技先锋官##How I AI##微博视频号续航计划# AIGC·非著名程序员的微博视频

2. Karpathy又丢了个两小时的硬货出来。这回不聊虚的,直接拆AI Agent到底怎么转起来的——Agent、Harness、Loops、Graphs,一层层给你讲清楚,不是停在“跟模型聊天”那一步。想搞明白Agent背后那套东西的,这期值得找个整块时间认真看一遍。 张岱樾的微博视频

3. Andrej Karpathy 解析 Loop Engineering:构建“数日级”长程 Agent 的 9 条黄金法则

4. 详解Super Agent:会主动干活,更懂何时闭嘴

5. Super-agent 设计探索:迈向更自主的 Agent 系统

6. DeepSeek 开源了一个「不打扰人」的 Agent,两天七千星,我看完想先把它当实习生用

7. DeepSeek开源了DSH原型代码和Super-agent,读完全部代码,这是我发现的

8. Super-agent 开源,DeepSeek 实现了多少?

9. 如何评价Deepseek Harness发布的super-agent构想?

10. 一文读懂 DeepSeek 开源的 Super-agent,下一代主动式智能体

11. DeepSeek刚发的下一代Agent,竟被这家硅谷团队提前半年实现了?

6
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章