苹果公布全新语言模型:长文本生成速度提升最高 128 倍
据 9to5Mac 报道,苹果与俄亥俄州立大学研究团队联合发布了一项最新研究,提出名为「FS-DFM(Few-Step Discrete Flow-Matching)」的语言模型。
据介绍,该模型在长文本生成方面展现出显著优势,能够在仅 8 轮迭代中完成高质量输出,速度最高可比传统方法快 128 倍。
研究指出,现有主流大语言模型多采用自回归方式逐字生成,而扩散模型则通过并行生成多个词元并逐步修正。FS-DFM 在此基础上进一步优化,借助「教师模型」指导和迭代机制改进,实现更快、更稳的收敛效果。
在对比测试中,FS-DFM 的参数规模仅为 0.17 至 1.7 亿,但在困惑度(Perplexity)和熵(Entropy)指标上均优于参数量更大的 Dream 与 LLaDA 扩散模型,展现出小模型高效能的潜力。
研究团队表示,未来将开放代码与模型检查点,以推动相关领域的复现与研究。
