当前AI训练受限于特定领域奖励信号，难以实现通用推理。PretrainZero框架模仿人类主动学习，让AI自主从海量数据中筛选有价值内容进行学习，无需人工标注，成功打破了强化学习的“验证数据墙”，为构建通用推理模型开辟了新路径。
智能速览
PretrainZero框架让AI模仿人类主动学习，从海量数据中挑拣有价值信息。
它通过掩码生成器和掩码预测器实现自监督学习，无需人工标注。
该框架直接在维基百科等通用语料上训练3B到30B的基础模型。
实验显示，Qwen3-4B模型在多项基准测试中获得8-10分的显著提升。
这种主动学习能力在后训练阶段依然保持优势，可作为推理基础模型。
精华内容
PretrainZero的核心创新在于将强化学习从特定领域的后训练，扩展到了通用语料的预训练阶段，其设计精巧且高效。
打破传统桎梏
传统强化学习模型虽在软件和数学等特定领域表现专家级能力，但其严重依赖可验证的奖励信号，如同被戴上“数据镣铐”。这种模式难以扩展到需要通用推理的场景，且人工标注或预训练奖励模型的成本高昂，形成了“验证数据墙”。而现有的自监督预训练，采用固定的下一个词预测模式，面对信息密度低的语料时，学习效率低下，甚至可能导致训练崩溃。
主动学习的奥秘
PretrainZero框架通过两个核心组件解决了这一难题。掩码生成器如同AI的“好奇心探测器”，负责从海量语料中主动识别信息丰富、可验证且尚未掌握的内容，将其标记为学习目标。随后，掩码预测器对这些选定的片段进行推理预测，生成思维链并恢复原始内容。整个过程通过双层强化学习目标进行优化，实现了真正的自监督强化学习。
零标注的威力
该框架最突出的优势是其自监督特性。它完全不需要任何人工标注、预训练奖励模型或有监督微调，直接在维基百科这类通用语料上即可完成训练。这种设计不仅显著降低了训练门槛和成本，更重要的是，它成功地将强化学习的应用范围从特定领域扩展到了通用预训练阶段，为构建通用推理基础模型奠定了基础。
基准测试表现
实验结果有力地证明了PretrainZero的有效性。在强化预训练阶段，该框架让Qwen3-4B-Base模型在MMLU-Pro、SuperGPQA和数学平均基准上分别提升了8.43、5.96和10.60分。更关键的是，这种优势能延续到后训练阶段，在进行通用RLVR任务时，模型额外获得了2.35、3.04和2.81分的提升，展现了其作为推理基础模型的巨大潜力。
PretrainZero框架为AI的主动学习能力研究提供了全新视角，它打破了传统强化学习的限制，让模型更接近人类的认知方式。这种主动学习机制未来有望扩展至更多模态和任务，推动人工智能向更通用的方向发展，AI真正学会思考的时代或许并不遥远。
