张大妈

野生科学:从野生文献中推进科学推理

源自小红薯:刘东瑞 上海 AI Lab

01-22 20:03

当前科学大模型面临训练数据稀缺、推理能力弱及奖励信号缺失的难题。一项研究提出WildSci方案,通过自动化流水线从海量前沿文献中生成高质量问答对,将开放式科研问题转化为可验证的多选题,为模型训练提供了持续更新的研究级基准,有效推动了科学推理能力的发展。

野生科学:从野生文献中推进科学推理智能速览

  • 现有科学问答数据集存在学科窄、深度不足的问题。

  • WildSci管线能自动化从前沿文献中合成高质量选择题。

  • 该方案构建了5.6万道与预训练语料零重叠的题目。

  • 通过重构为多选题,为开放式科研问题提供了奖励信号。

  • 该方法将可验证强化学习从数学代码扩展到全科学领域。

野生科学:从野生文献中推进科学推理精华内容

如何让AI像科学家一样思考?关键在于数据和反馈机制。这项研究直面科学推理领域的两大核心痛点,提出了系统性的自动化解决方案。

数据瓶颈困境

科学领域的问答数据集大多源自教材与习题,存在学科覆盖面窄、研究深度不足的问题,难以支撑真实科研场景下的复杂推理训练。为了打破这一瓶颈,研究者构建了WildSci,一套完全自动化的“论文到问答”合成管线。该管线直接从涵盖9大学科、26个子领域的同行评审文献中抽取信息,自动生成5.6万道高质量的选择题。

其核心优势在于,所有问题均源于最新研究成果,且通过13-gram去重技术,确保了与预训练语料的重叠率为0%,从源头上保证了数据的新颖性与高质量。

奖励信号缺失

在强化学习中,奖励信号是模型优化的关键。然而,科学问题多为开放式,答案难以自动验证,导致可验证奖励强化学习(RLVR)长期以来局限于数学和代码领域。该研究的创新之处在于将开放式科研问题巧妙地重构为多项选择题格式。

通过引入唯一的合成标签ysyn,可以对模型给出的答案y进行二元正确性判断,输出1.0或0.0的奖励信号。这一转换使得在科学领域进行可扩展的强化学习训练成为可能。

训练与评测

在获得二元奖励信号后,研究结合GRPO算法进行强化学习训练。为了防止模型记忆选项位置而非学习内容,训练过程中会随机打乱每个选项的顺序,增强了模型的泛化能力。

综合来看,该方案不仅解决了训练数据和奖励信号两大难题,更重要的是,它通过WildSci提供了一套能够持续更新的、研究级的训练与评测基准。这套基准旨在将可验证奖励的强化学习范式从数学和代码推广到整个科学领域,为未来的AI科研辅助奠定了基础。

该研究为科学大模型的训练提供了全新的数据构建和优化范式,通过自动化流程将前沿文献转化为可验证的学习资源。这不仅解决了燃眉之急,更构建了一个可持续发展的科研基准,未来AI能否借此产生颠覆性的科学发现?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章