Transformer 的共同发明者 Llion Jones 提出了一个尖锐的观点：当前 AI 领域对 Transformer 的无尽优化和扩展，可能正在重蹈 RNN 的覆辙，陷入了局部最优的陷阱。这番警示，为在“大力出奇迹”思潮中狂奔的业界，提供了一个重新审视技术路线的冷静视角。
智能速览
Transformer的共同发明者预言其非终点，当前研究或将白费。
业界或正重演RNN的悲剧，陷入对同一架构的无限微调中。
Transformer的成功是一种“架构彩票”，契合现有硬件生态而非绝对最优。
当前大模型呈现“锯齿状智能”，在高级任务上强于低级错误。
AGI的突破可能源于全新架构，而非对现有模型的无限扩大。
精华内容
为何亲手缔造的“神”，反被其发明者视为“陷阱”？这背后是对技术发展规律的深刻洞察，以及对AI未来的忧思。
RNN的悲剧
Llion Jones 认为，AI 研究正在重蹈覆辙。在 Transformer 出现前，RNN 是主流，但研究最终沦为对同一架构的微调，比如将语言建模性能提升到 1.25 比特/字符。当 Transformer 出现后，轻易就达到了 1.1 比特/字符，让 RNN 阵营的大量研究瞬间显得毫无价值。如今，无数论文仍在调整 normalization 层或改良训练方式，这和当初的 RNN 研究何其相似。
成功的陷阱
Transformer 的成功反而制造了一个巨大的“重力井”。其背后是“架构彩票”理论：Transformer 的胜利并非因其普适优越，而是恰好契合了 GPU 硬件生态。整个行业对其理解已极为成熟，工具链完备。除非新架构能实现“碾压式胜出”，否则大家宁愿在旧体系内修补。哪怕你做出更好的新模型，OpenAI 只需将 Transformer 再扩大十倍，就能轻易压过你的成果。
锯齿状智能
当前大语言模型并非通用智能，其本质是“锯齿状智能”。它们可能在某些博士级难题上表现天才，转眼却犯下小学生都不会出的低级错误。这种刺眼的反差暴露了架构的根本问题：模型被设计成“万金油”，通过堆砌数据和参数来弥补，而非从根本上思考如何更好地表示知识。像不确定性建模、自适应计算等能力，只是被硬生生外挂，而非融入架构核心。
逃离重力井
为逃离这个循环，Llion Jones 转向更具探索性的方向，提出了受生物启发的“连续思维机”（CTM）。该模型模仿大脑神经元通过同步振荡传递信息的方式，用神经动态作为核心表示，在“内部思考维度”上展开计算。这种探索性研究因为没有“抢发压力”，可以做得更扎实。他希望这能成为一个示范，鼓励研究者们尝试那些风险更高但可能带来大突破的方向。
这番来自“局内人”的清醒直言，为狂热的 AI 发展泼下一盆冷水。它揭示了范式转移前夜必然的迷茫与徒劳。我们无法跳过这个阶段，但这样的警醒至关重要。或许，下一个伟大架构的诞生，就需要有人敢于从拥挤的赛道中抽身，去探索真正的无人区。
