NVIDIA 发布 TTT-E2E：实现大模型推理时“边学边用”

NVIDIA 发布 TTT-E2E: 让大模型在推理时"边学边用"!transformer 架构与人脑有什么本质的不同吗? 尤其是读取大量信息的情况下?答案是人类通过大量经验压缩形成直觉，而 Transformer 的 full attention 设计是为了"几乎无损"地记住每一个 token。代价就是处理第 1000 万个 token 的时间是第 10 个 token 的 100 万倍! 现有的优化方案比如滑动窗口、Mamba、Gated DeltaNet 虽然效率高，但在长上下文中会丢失重要信息。Astera Institute 和 NVIDIA 刚刚发布的 TTT-E2E 给出了全新的方法:核心思想是, 在大模型生成内容的时候, 继续用下一个 token 来进行一个预测任务, 这个任务来训练模型本身(相当于运行时微调)，这样就把把上下文压缩到了模型权重中! 就像人类把经验压缩到大脑里一样，保留重要信息，舍弃细节。来看实验结果:- 在 128K 上下文下，比 full attention 快 2.7 倍- 在 2M 上下文下，快 35 倍!- 推理延迟恒定，不随上下文长度增加- Loss 表现比所有 RNN 方法都好，甚至超过 full attention!更重要的是，这是第一个在长上下文的 loss 和 latency 两个维度上同时表现优异的方法! Transformer full attention 只有 loss 好，Mamba/DeltaNet 只有 latency 好，TTT-E2E 两者兼得!当然也有限制: 因为它很像人类看书的过程, 即训练阶段的 meta-learning 需要计算梯度的梯度，所以肯定是要慢的, 目前比标准预训练慢 3.4 倍，FlashAttention 如果能支持估计会快一些.另外有同学会担心, 如果每次都对原始模型进行微调, 会不会原始模型不断劣化? 答案是不会的, 框架使用 MLP 权重存储上下文，对话结束后恢复初始权重, 不过如果在同一个会话内, 的确是会受影响的.稍后给大家带来论文精读. 论文地址: arxiv.org/pdf/2512.23675#ai生活指南##ai创造营#

新浪微博 2026-01-14 00:00:00