面对大模型处理超长文本时“上下文腐烂”的通病，MIT CSAIL 团队提出递归语言模型（RLM）新方法。它无需改动模型架构，通过将文本处理任务外包给 Python 环境，让模型自主编程、递归调用，从而解锁千万级 token 的超长文本处理能力，为解决信息遗忘难题提供了全新视角。
智能速览
上下文腐烂是大模型处理超长文本的核心痛点。
MIT新方法RLM将文本处理外包给Python环境。
模型通过自主编程和递归调用，实现按需信息处理。
RLM在不改动模型架构下，解锁千万级上下文能力。
在OOLONG-Pairs任务中，RLM将模型F1分数从不足0.1%提升至58%。
RLM是一种通用推理策略，理论上可适配任何大模型。
精华内容
传统的上下文处理方法各有局限，而RLM则另辟蹊径，它如何在不改动模型架构的前提下，实现性能的飞跃？
上下文之困
无论大模型宣称的上下文窗口有多大，在处理超长文本时都会遇到“上下文腐烂”问题。即随着文本长度增加，模型对早期信息的记忆急剧衰退，导致推理性能大幅下滑，如同人读到长篇小说末尾已忘记开篇情节。
目前主流的应对方案包括上下文压缩、检索增强生成（RAG）或对模型架构进行根本性优化。这些方法虽有一定效果，但或损失信息，或实现复杂，或改动成本高昂，未能从根本上解决问题。
外包式解题
RLM的核心思路是将上下文处理“外包”给一个可交互的Python环境。它首先启动一个Python REPL，将超长文本作为字符串变量存入其中。
接着，大模型扮演程序员角色，自主编写Python代码对文本变量进行关键词筛选、局部探查等操作。模型通过“编写代码-观察结果”的交互循环，按需处理信息，减少无效摄入。然后，模型将复杂任务拆解为子任务，递归调用自身处理，并将所有输出存回环境变量。最后，模型再编写代码整合所有结果，形成最终输出。
性能的飞跃
实验数据充分证明了RLM的有效性。在要求聚合成对信息、复杂度极高的OOLONG-Pairs任务中，基础版GPT-5和Qwen3-Coder的F1分数均不足0.1%。而采用RLM方案后，两款模型的F1分数分别飙升至58.00%和23.11%。
在600万至1100万Token规模的多文档推理任务BrowseComp-Plus（1K）中，RLM（基于GPT-5）的正确率高达91.33%，远超其他方案。即便在需要线性扫描所有信息的OOLONG任务中，RLM也实现了双位数的性能提升。
成本与普适
从调用成本看，RLM具有显著优势。在50%分位数的中等复杂度任务中，其成本与其他方案持平甚至更低。但在95%分位数的高复杂度任务中，成本会因动态推理增加了API调用次数而有所上升。
更重要的是，RLM是一种不触及模型架构的通用推理策略。这意味着它理论上可以无缝适配于GPT系列、Claude、Qwen等任何现有或未来的大模型，无需对模型本身进行任何修改，普适性极强。
RLM的出现，为大模型处理长文本提供了“解耦”的新思路，其“外包式”策略展现了巨大潜力。这项不依赖架构升级的通用方案，未来能否成为行业标准，并催生全新的应用形态？
