AI自我进化一直受制于训练不稳定和错误累积两大难题。中国人民大学提出的DARC框架,通过巧妙的解耦设计,让AI能像人类一样通过“课程学习”实现稳定提升,无需人工标注数据,性能却逼近有监督模型,为AI自主进化开辟了新路径。
智能速览
传统自我博弈方法存在训练不稳定和错误累积问题。
DARC框架将进化过程解耦为独立的出题和解题两阶段。
引入“特权教师”模型,通过不对称蒸馏减少标签噪声。
在9个基准测试中,DARC平均提升了10.9个百分点的准确率。
其性能已接近使用了23.2万条人工标注数据的模型。
精华内容
DARC框架究竟如何实现稳定进化?其核心在于两阶段的解耦设计与不对称的知识蒸馏机制。
自我博弈的困境
让AI通过自我博弈实现进化,是一种充满潜力的方向,即一个AI出题,另一个AI解题,互相促进。但这种耦合设计存在根本缺陷。首先,出题AI的目标是动态变化的,因为它需要根据不断进步的解题AI的表现来调整题目难度,导致训练目标极不稳定。其次,解题AI使用的是自我生成的伪标签进行训练,其中的错误会像滚雪球一样不断累积和放大,最终让整个系统陷入停滞甚至崩溃。
解耦的设计巧思
为破解上述困境,DARC框架采用了精巧的两阶段解耦设计。第一阶段,出题AI不再关注解题AI的表现,转而根据明确的难度等级和外部文档来生成题目。这就像一位经验丰富的老师,能稳定产出难度梯度分明、内容丰富的“考卷”。第二阶段,引入一个能看到原始文档的“特权教师”AI,通过多数投票机制生成高质量的伪标签,再通过知识蒸馏的方式,将这些纯净的知识传授给只能看到题目的“学生”AI。这种不对称设计有效隔离了错误传播。
显著的性能提升
实验结果验证了DARC框架的高效性。在涵盖9个推理基准测试和3种不同骨干模型的评测中,DARC平均提升了10.9个百分点的准确率,且整个过程完全不依赖任何人工标注数据。更令人瞩目的是,它的性能已经非常接近一个使用了23.2万条人工标注数据训练出来的监督模型。此外,该框架展现了出色的泛化能力,出题AI学到的难度分级可以独立于具体解题模型,其生成的题目能有效提升不同架构的解题AI的性能。
DARC框架的成功,证明了通过精巧的课程设计实现AI稳定自我进化的可行性,大幅降低了对人工数据的依赖。未来,这种自我进化机制能否催生出更强大的通用人工智能?