针对大模型长文本处理的普遍难题，Transformer核心作者团队开源了名为DroPE的新方法。它巧妙地在推理阶段抛弃传统位置编码，仅需不到1%的预训练预算重新校准，便能实现零样本的长上下文扩展。这项技术为解决模型位置信息失效问题提供了全新且高效的思路。
智能速览
DroPE由Transformer作者之一Llion Jones的团队开源
它通过在推理时抛弃RoPE来解决长文本瓶颈
该方法实现零样本上下文扩展，无需额外长文本训练
重新校准模型所需的预训练预算不到1%
实验显示，DroPE在多项基准测试中性能大幅超越传统方法
精华内容
DroPE的核心思路是将位置编码视为一种训练工具，而非推理时的必需品。这种“用后即弃”的策略，如何让模型突破自身限制？
位置编码的困境
在Transformer模型中，自注意力机制会丢失文本的语序信息。为了让模型理解“猫抓老鼠”和“老鼠抓猫”的区别，研究人员引入了位置嵌入。当前主流的RoPE（旋转位置编码）方法虽然有效，但在处理长序列时存在缺陷：其高频维度会因旋转角度快速饱和而失效，低频维度则因变化过慢无法精确表征位置，这限制了模型理解长上下文的能力。
DroPE的巧思
DroPE提出了一种颠覆性的方案：将位置嵌入视为一个临时训练工具。在预训练阶段，模型依然借助RoPE来学习语序，保证训练的稳定性和效率。但当模型进入推理阶段时，DroPE会大胆地将位置嵌入完全丢弃。随后，仅需在原上下文长度下进行极短时间的重新校准，训练成本不到原预训练预算的1%。
实验数据验证
研究团队在多个规模的模型上验证了DroPE的有效性。在LongBench基准测试中，应用DroPE的SmolLM模型平均得分提升了超过10倍。在“大海捞针”（NIAH）任务中，其召回率高达74.92%，显著优于传统的RoPE缩放方法。即便是在Llama2-7B这样的大模型上，仅用0.5%的预算重新校准，DroPE在长上下文问答和总结任务中也表现出卓越性能。
背后的团队
提出DroPE的团队来自Sakana AI，一家由Transformer论文八位作者之一Llion Jones与前谷歌高级科学家David Ha联合创立的公司。这家公司此前还因创造出能独立撰写学术论文的AI科学家“The AI Scientist”而备受关注。他们近期提出的“数字红皇后”算法，也展示了在对抗性进化领域的创新实力。
DroPE技术为大模型处理长文本提供了一条低成本、高效率的路径。它挑战了位置编码在模型推理阶段的固有地位，展现了架构优化的新可能。未来，这种“训练工具化”的思路是否会启发更多模型优化方向？
