张大妈

AI竟能自己出题考自己,效果直接提升10.9分

源自小红薯:代码熊大模型论文分享

01-24 20:09

AI自我进化一直受制于训练不稳定和错误累积两大难题。中国人民大学提出的DARC框架,通过巧妙的解耦设计,让AI能像人类一样通过“课程学习”实现稳定提升,无需人工标注数据,性能却逼近有监督模型,为AI自主进化开辟了新路径。

AI竟能自己出题考自己,效果直接提升10.9分智能速览

  • 传统自我博弈方法存在训练不稳定和错误累积问题。

  • DARC框架将进化过程解耦为独立的出题和解题两阶段。

  • 引入“特权教师”模型,通过不对称蒸馏减少标签噪声。

  • 在9个基准测试中,DARC平均提升了10.9个百分点的准确率。

  • 其性能已接近使用了23.2万条人工标注数据的模型。

AI竟能自己出题考自己,效果直接提升10.9分精华内容

DARC框架究竟如何实现稳定进化?其核心在于两阶段的解耦设计与不对称的知识蒸馏机制。

自我博弈的困境

让AI通过自我博弈实现进化,是一种充满潜力的方向,即一个AI出题,另一个AI解题,互相促进。但这种耦合设计存在根本缺陷。首先,出题AI的目标是动态变化的,因为它需要根据不断进步的解题AI的表现来调整题目难度,导致训练目标极不稳定。其次,解题AI使用的是自我生成的伪标签进行训练,其中的错误会像滚雪球一样不断累积和放大,最终让整个系统陷入停滞甚至崩溃。

解耦的设计巧思

为破解上述困境,DARC框架采用了精巧的两阶段解耦设计。第一阶段,出题AI不再关注解题AI的表现,转而根据明确的难度等级和外部文档来生成题目。这就像一位经验丰富的老师,能稳定产出难度梯度分明、内容丰富的“考卷”。第二阶段,引入一个能看到原始文档的“特权教师”AI,通过多数投票机制生成高质量的伪标签,再通过知识蒸馏的方式,将这些纯净的知识传授给只能看到题目的“学生”AI。这种不对称设计有效隔离了错误传播。

显著的性能提升

实验结果验证了DARC框架的高效性。在涵盖9个推理基准测试和3种不同骨干模型的评测中,DARC平均提升了10.9个百分点的准确率,且整个过程完全不依赖任何人工标注数据。更令人瞩目的是,它的性能已经非常接近一个使用了23.2万条人工标注数据训练出来的监督模型。此外,该框架展现了出色的泛化能力,出题AI学到的难度分级可以独立于具体解题模型,其生成的题目能有效提升不同架构的解题AI的性能。

DARC框架的成功,证明了通过精巧的课程设计实现AI稳定自我进化的可行性,大幅降低了对人工数据的依赖。未来,这种自我进化机制能否催生出更强大的通用人工智能?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章