Transformer架构的发明者Llion Jones发出警告，当前AI领域可能正陷入一个巨大的陷阱。他坚信，无数针对Transformer的微调研究，只是在局部优化上做文章，如同当年RNN被取代前的最后挣扎。真正的突破，或隐藏在受生物启发的全新架构中，而非无限扩大模型规模。
智能速览
Transformer发明者认为当前AI研究陷入局部最优解
他警示，对Transformer的微调可能重蹈RNN覆辙，最终徒劳无功
Transformer的成功形成“重力井”，阻碍了新架构的探索与发展
现有LLM的“锯齿状智能”特性，揭示了架构的根本性缺陷
Llion Jones已转向研究受生物启发的连续思维机（CTM）
精华内容
Transformer的巨大成功，反而可能成为AI发展的陷阱。其发明者坦言，我们可能正在重复历史，将精力浪费在局部优化上，而真正的突破需要全新的架构思路。
重演RNN悲剧
在Transformer出现之前，RNN是AI领域的主流架构。当时，大量研究致力于对RNN进行微调，例如调整门控单元位置，语言建模性能仅能从1.26提升至1.25比特每字符。
然而，当Transformer问世后，在同一任务上性能直接跃升至1.1比特/字符，使得此前所有对RNN的优化研究瞬间黯然失色。
Llion Jones指出，如今的学术界似乎正在重演这一幕：无数论文只是在Transformer架构上做微小改动，如调整normalization层位置，这些努力可能在下一个颠覆性架构出现后变得毫无价值。
架构彩票陷阱
Jones引用了“硬件彩票”理论，即某种研究思路的成功，往往是因为它恰好契合了当时的软硬件环境，而非其内在的绝对优越性。
他认为，Transformer的胜利更像是一场“架构彩票”。它的成功催生了成熟的生态系统，包括训练方法、软件工具等，形成了一个巨大的“重力井”。
即便有新架构在论文中展现出优于Transformer的性能，但只要优势不够“碾压式”，整个行业就很难放弃已有的成熟体系，去拥抱一个充满不确定性的新起点。
锯齿状智能困局
Jones进一步指出，当前的大语言模型并非通用智能，而是呈现出“锯齿状智能”的特点。模型可能前一秒还在解决博士级的复杂问题，下一秒就犯下小学生都不会出的低级错误。
这种强烈的反差，暴露了现有架构的根本性缺陷。他认为，我们过度依赖Transformer这个“万金油”，将不确定性建模、自适应计算等能力以外挂模块的方式硬加上去，而不是从架构底层重新思考知识的表示和推理过程。
探索生物启发之路
为跳出当前的循环，Llion Jones在2025年初大幅减少了在Transformer上的研究投入，转向更具探索性的方向。他和团队设计了连续思维机（CTM），一种受大脑运作启发的全新架构。
CTM的核心是用神经动态作为表示，让模型在内部维度上逐步展开计算，模拟大脑神经元通过同步振荡传递信息的方式。他希望这项研究能成为一个示范，鼓励更多研究者投身于风险更高但可能带来巨大回报的新方向。
Llion Jones的坦诚言论，为狂热的AI研究领域敲响了警钟。如果他的判断成真，那么当前大量围绕Transformer的优化工作，都可能在范式转移的瞬间失去价值。这个困境在于，身在局中无人能知。但他的选择至少提供了一种可能：真正的颠覆性创新，或许正源于那些敢于跳出主流、探索无人区的勇气。
