569
239
Karpathy离开了OpenAI，从此OpenAI没人跟我们说人话
2024-03-06 14:02:12
0点赞
0收藏
0评论
在去年11月OpenAI的宫斗闹剧最荒唐的高潮，几乎没有人注意到一个细节：在所有OpenAI员工把推特当自家文化墙一样的刷屏发爱心时，经常扮演这家公司对外公众形象的大神Andrej Karpathy完全没有参与到这场表态站队的过家家游戏中。
没有那“OpenAI is nothing without its people ”，也没有集体表演，甚至没排队发爱心，他唯一表达情绪的一次，是在闹剧反反复复终于变得离谱后，发了一个核扩散警告的表情。在一堆爱心瀑布流里很是突兀。可能从那个时候开始，离开就是注定的了。
2月14日，在媒体曝光他离职消息后，Karpathy 在X上立刻确认了消息，一如既往的直接：无事发生，懂得都懂。
这是他第二次离开OpenAI。Karpathy 是OpenAI的创始成员，第一次离开是被马斯克挖到特斯拉主管AI和Autopilot ，用了几年把特斯拉自动驾驶带上正轨。在那之前他在斯坦福创建并教授了第一门深度学习课程。“Andrej 通过在 ImageNet 的工作让计算机拥有视觉，通过生成模型给了计算机想象力，以及通过强化学习的工作给了计算机浏览互联网的能力。”这是马斯克把它从OpenAI挖来时特斯拉给的评价。
他提出过诸多影响很多人的思想，比如神经网络是软件2.0，而非机器学习的一种工具，比如大模型本身就是幻觉生产器，比如大模型本质是世界知识的最佳压缩，比如最近一个：LLM OS，把大模型当做一个操作系统，并给出了一张详细的架构图。每一个遇上包装大师可能就是又一个独角兽生意。
但Karpathy最吸引人的地方其实是他那些“科普”工作，他的YouTube和推特聚集着真正对AI感兴趣的人，这些作品试图用“说人话”的方式让所有人明白所谓行业里的“尖子生”们到底在研究什么，并且证明它们没那么神秘高深。他的从零开始手搓GPT，一小时弄懂大模型等视频是目前最好的科普视频，在YouTube上播放超过百万并被各种研究者推荐。是这些，而不是OpenAI的身份让他拥有一众拥趸和一呼百应的潜力。
一句话：他代表了上一个AI研究的时代：公开，坦诚，相信和鼓励多样性，希望通过人话把看似复杂的技术讲清楚来让更多人的理解和加入AI的发展中，并从中得到乐趣和收益，一个希望通过多样性来促进发展的时代。
但是现在进入下一个时代了。这是一个属于Altman7万亿大卫星，和英伟达市值超过谷歌的时代——一个所有人都不知道大模型背后真正技术原理到底是什么、不知道这个用的越多能源压力越大的技术路线究竟怎么在商业模式上成功，但大多数人却连模型的“第一性原理”都不再讨论的时代。一个快速完成资本和资源的分配与垄断后形成共谋的时代。一个纷纷转发着那一条条不区分大小写的推文的时代。
在整个AI圈子都越来越沉浸在一种“用各种新奇语言和概念描述早就存在的同一件事”的故弄玄虚扭曲潮流里，一直在给所有概念祛魅的Karpathy离开了奥特曼和OpenAI。我们通过最朴素的语言了解OpenAI的机会，又少了。
而更残酷的事实是：奥特曼们不需要Karpathy ，多于Karpathy们不再需要OpenAI。
去年大火的马斯克传里，Karpathy离开OpenAI去特斯拉以及后来的回笼，被形容为马斯克与奥特曼在OpenAI发展路径上出现争端而反目的具体体现。但与那两次不同，今天的离开里Karpathy 多少显得落寞。当年离开特斯拉，马斯克罕见的送上祝福，目前看来奥特曼似乎没有这个想法。在他的推文下，那个在宫斗里角色模糊且后期也远离了权力中心的女CTO Mira Murati送上了祝福，然后是宫斗主角之一Greg Brockman的一个爱心——是的，就是当初Karpathy拒绝跟风转发的那个emoji。它看起来显得讽刺而扎眼。
现在再回顾Karpathy二进宫的这一年，他就像是一个只被允许坐在替补席近距离看球赛的人。
曾经，对于所有人对OpenAI最关心的问题：ChatGPT怎么训练的，他似乎是少数看起来可以直接“回答”这个问题的OpenAI官方的人。在去年微软的生态大会上，他做了State of GPT的报告，是目前OpenAI官方人员唯一系统介绍ChatGPT训练思路的一次（也很可能是最后一次）。但几个月后到了OpenAI自己的生态大会，这个开发者社区里最积极的OpenAI高管却没有被“分到”做任何主题分享。在没有公开论文、所有人只需要奥特曼一句“我又见证了一次我们模型能力的重要突破”就能浮想联翩想象出一个末日画面的时候，他擅长分享的干货成了OpenAI最不重要的东西。
他也不再发表论文，你甚至不太知道他在OpenAI具体负责了什么。一个广为流传的消息是，他在OpenAI最后两个项目，分到的训练资源分别只有可怜的256和64张GPU。
这都使得他在OpenAI二进宫的一年成了某种独特阶段的产物。在他回归的那个时刻，OpenAI是个急需建立社区口碑吸引开发者构建自己生态的后来者，他要挑战Google等老霸主；而在Altman亲手打碎为了监督自己而设计的董事会，逼出98%的支持率，并顺带摸清了资本和大公司们对他的态度后，OpenAI通过释放一些晦涩信号就能主导整个AI议程的能力越发纯属，Karpathy擅长的显然不再是今天奥特曼所需要的了。
Karpathy 在社区里多么重要，在今天的OpenAI就多么不重要。“Karpathy是这个行业最直言不讳的研究者，他不会为了讨好谁或者显得比别人聪明而把思想藏在一堆术语下面”，这是一个开发者给他的评语。但一个需要“忽悠”中东资金给出能买下全部GPU的钱，一个在主动释放烟雾弹掩盖模型训练方法，不停制造新名词来解释旧问题（还记得用反刍来解释对纽约时报文章的版权争议么）的OpenAI正好就是它的反面。
几天前Karpathy发布了一篇博客并罕见的主动删除了它。这篇文章核心讲了一件事：他认为人们总是虚头巴脑的聊AGI但缺少实际例子，而自动驾驶就是最直接的参考，今天自动驾驶走过的路，所谓AGI也要走过，也就是一切还早着呢。而这篇文章发布几天前，奥特曼正在积极释放GPT5的“剧透”，在一众渲染下，人类离AGI好像又仅仅一步之遥了。
这种“唱反调”容易让人想到Ilya Sutskever，不过与至今“下落不明”的Ilya与奥特曼的矛盾不同，Karpathy 从不谈论什么超级爱和有效加速主义，他唯一提到“意识形态”时只是在追求那种透明和有趣的互联网早期精神。但结局似乎是一样的。
当一个聪明又对技术充满热情的人，甚至在根本的技术路线表态上会主动限制自己的顶尖研究者都无法继续在一家正全力通过资本运作来建立护城河的公司里工作时，就是一个行业转折的标志。
去年11月当全体OpenAI员工享受着全世界的注意力时，Karpathy悠悠的说，最近几天思考了很多关于中心化与去中心化的问题。而最近的一次讨论里，Karpathy 说道：今天AI界真正在改变世界的爱因斯坦们，可能在架构表里藏在CEO以下5层。“我希望他们不要为了换取巨额薪水而藏在巨头和初创公司里。”现在，他自己率先逃离了出来。
