你天天聊的 Claude,名字是从他那儿借来的:香农,和一台73年后复活的“读心机”

源自24位全网作者

09-03 08:11

先说一件刚发生的事。这两天,有开发者把一份1953年的设计手稿"复活"成了一个能玩的网页游戏。手稿的作者,是克劳德·香农。机器叫"A Mind-Reading Machine"——读心机。零参数、零训练数据、全部记忆只有16个比特,却能在你按左键还是右键这件事上,越猜越准。小红书

如果你平时在用 AI 助手,尤其是用过 Claude,那你可能没意识到:你每天敲出来的这个名字,大概率就是从香农那儿借来的。今天这篇,就把这件事的来龙去脉,以及香农到底凭什么,一次性讲清楚。

一、Claude 到底是谁?一个"没有官方盖章"的公开秘密

Anthropic 至今没有发布过一份正式声明,说"Claude 这个名字来自克劳德·香农"。知乎但这件事在业内几乎是公开的秘密:多篇流传较广的考据文章、社区讨论,都指向同一个结论——Claude 得名于信息论之父 Claude Elwood Shannon。知乎不过,也有文章写得斩钉截铁:“Anthropic官方确认过:Claude这个名字,就是对Claude Shannon的致敬”,与"从未官宣"的说法并不一致——两边口径打架,反而让这个来源更像一个典型的"公开的秘密"。知乎

为什么这个解释最站得住脚?因为不是名字撞车那么简单——Claude 这个 AI 干的活儿,从数学地基上就是香农定的。这一点往下看。

你天天聊的 Claude,名字是从他那儿借来的:香农,和一台73年后复活的“读心机”

二、79页论文,定义了"信息"这个词

在讲那篇论文之前,得先补一句他的前史。1937年,21岁的香农在MIT写下硕士论文《继电器与开关电路的符号分析》。在他之前,电路开关和布尔代数一直是两码事,是他证明了两者在数学层面完全等价——真就是字面意义的"电路里跑逻辑"。微博这篇论文后来常被称作"20世纪最重要的硕士论文",因为今天所有数字电路的设计思路,都从这儿来。知乎

你天天聊的 Claude,名字是从他那儿借来的:香农,和一台73年后复活的“读心机”

然后是真正的高光时刻。1948年,32岁的香农在贝尔实验室发表了论文《通信的数学理论》(A Mathematical Theory of Communication),全文79页。当时没人完全看懂:工程师嫌它太数学,数学家嫌它太工程。知乎

这篇论文做了几件事,每一件都压在今天的技术栈底下:

  • 他给信息定义了可计算的度量——“信息熵”。信息不再玄学,而是可以测量、压缩、传输的东西;

  • 他给信息的最小单位起名 bit(比特)。顺便说,"bit"这个词是同事 John Tukey 先造出来的,是香农把它写进论文,让它统治了世界。你现在手机里的每一个 GB、每一格信号,单位都是他推广开的;

  • 他证明了信道有容量上限,噪声再大也有可靠通信的办法——今天你的 5G、Wi-Fi、硬盘纠错,全在这条定理的射程之内。

关于"信息熵"这个命名,还有个流传很广的段子:香农拿不准叫什么,冯·诺依曼建议他叫"熵",理由是"反正没人真懂熵是什么,这样你吵架永远占上风"。段子的真伪难考,但信息熵确实成了这门学科最核心也最劝退的概念。

这篇论文是人类历史上被引用最多的论文之一,引用量以十万计。一门叫"信息论"的学科,从此成立。

三、香农的"预言"清单:你今天用的AI,他70多年前全打过草稿

很多人以为大模型是这十年的新物种。但你把香农1950年前后的"玩具清单"列出来,会发现 LLM 的每一步,他都提前踩过:

香农做过什么

对应今天的什么

1950年发表《为计算机编程下国际象棋》,提出"穷举搜索"和"选择性搜索"两条路线

从深蓝战胜卡斯帕罗夫,到 AlphaZero,全是这两条路线的后代

1950年造出会走迷宫的电子老鼠 Theseus,撞墙就记、下次直接走对路

常被称作最早的"机器学习"演示之一,比这个词被发明早得多

1951年发表《预测与英语的熵》,本人亲自当"人肉模型",逐字母预测英文文本,借此测出英语每个字母约1比特的信息量

这就是"预测下一个词"——大模型训练的本质动作;也是为什么英文打错一半字母你照样能读

1953年写下"读心机"手稿:机器先押注你按左还是按右,再根据输赢更新策略

刚被开发者复刻成网页游戏,73年后照样能跟你过招

其中1951年那篇值得多说一句。香农发现英语大约有50%是冗余的——意思是语言里一半的内容其实可以靠上下文猜出来。这也回答了一个知乎上被反复讨论的问题:英语里像 the 这种高频虚词为什么永远不会被淘汰?因为它们是冗余的载体,是语言的"纠错码",砍掉它们,沟通就扛不住噪声了。

你看,连"大模型为什么能预测语言"这件事的理论上限,都是香农先算好的。现在训练模型用的"交叉熵损失",直接衍生自他定义的信息熵。知乎所以那句流传的话不算夸张:没有香农那篇论文,就没有数字通信,没有互联网,没有GPU上跑的神经网络,也没有你现在对话的这个 Claude。

四、读心机凭什么能猜中你?

说回刚复活的那台机器。规则很简单:每一轮,机器先押左或右,押死后你再出手,机器记下这轮输赢,然后准备下一轮。它的全部记忆只有16个比特。

你天天聊的 Claude,名字是从他那儿借来的:香农,和一台73年后复活的“读心机”

它不是读心,是抓规律。人在随机按键的时候根本做不到真随机——你会在赢的时候重复、输的时候换边,会有自己都察觉不到的节奏。机器做的事,就是把你的行为模式当成一段有规律的信息来压缩、预测。

这套思路你其实天天在被打:推荐算法猜你下一单买什么、信息流猜你下一条点什么,本质都是同一件事——人的行为序列里有冗余,有冗余就可预测。73年前香农用16个比特演示的道理,现在撑起了一整个算法产业。想亲手试试的,可以搜这个网页版:shoot5313.github.io/shannon-mind-reader-1953,在小红书上也有作者发的实验说明。{{{CUSTOM_HTML_TAG_8}}}

五、本人泼过的冷水:别乱蹭信息论

最有意思的反转在这。1956年,信息论火出圈,各行各业都拿它包装自己的研究。香农本人看不下去了,写了篇著名的短文《The Bandwagon》(乐队花车),大意是:信息论不是万能钥匙,把一个成功的理论到处乱套,是时髦,不是科学。

写完这篇,他基本淡出了论文发表。

70年后回头看这篇短文,很难不联想到今天"万物皆可AI"的语境。当然,香农没说过这话,这是后人读出来的滋味。但发明者本人对热潮保持警惕这件事本身,放在任何时代都够清醒。

六、八卦时间:他的人生比论文好玩

几件有据可查的事:

  • 他在 MIT 走廊里骑独轮车,还一边骑一边抛接三个球。他认真推导过"杂耍定理",造过杂耍机器;

  • 他造过一台"没用的机器"(The Ultimate Machine):一个盒子,上面一个开关。你拨到开,盒子里伸出一只机械手把它拨回关,然后缩回去。这台机器的唯一功能,是否定自己的存在;

  • 那只走迷宫的电子老鼠 Theseus,背后接线的是他妻子 Betty——贝尔实验室的数学家。她还给香农买了第一辆独轮车;

  • 他晚年把股票投资当"另一种有趣的数学游戏"来玩,据说战绩不俗。

2001年,香农因阿尔茨海默症去世,享年84岁。他去世那一年,"人工智能"还不是大众词汇;又过了11年,深度学习才爆发;又过了20年,Anthropic 才成立。知乎他没来得及看到自己的理论变成大模型,也没看到一个以自己名字命名的 AI 被数亿人每天呼唤。

七、想深入了解,从这三个入口走

  1. 读一本传记:Jimmy Soni 和 Rob Goodman 的《A Mind at Play》(2017),中文读者一般直接叫它《香农传》,是目前可读性最好的香农传记。小红书上有读者把它排在《奥本海默传》之后推荐。小红书

  2. 玩一下读心机:上面提到的网页复刻版,三分钟就能和73年前的机器过招,输赢都算你与香农的缘分;

  3. 读那篇论文:《A Mathematical Theory of Communication》全文网上公开可得,英文不难,就算只看引言,也能看到"信息"被定义的那一刻。

你天天聊的 Claude,名字是从他那儿借来的:香农,和一台73年后复活的“读心机”

另外两个值得留意的信号:Anthropic 会不会哪天正式确认命名来源(社区一直在等这个盖章);以及信息论学界最高奖就叫"香农奖",每年花落谁家,基本就是这个领域风向标。

下次再打开 Claude 的时候,你可以想起来:你呼唤的这个名字,1916年出生在密歇根,骑过独轮车,造过没用的机器,写过79页的论文。78年后,他的名字活在了全世界的对话框里。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章