扩散模型真能替代GPT类模型?Clover跑进Agent主场,三块短板也摆上了台面

源自83位全网作者

19:31

「扩散模型能不能替代GPT类模型」这个老问题,在10月28日被重新推上桌:深圳团队扩散智能(DiffuSpace)发布并开源了扩散语言模型Clover-35B-A3B-Preview,写代码、生成网页、调用工具都有实测演示,权重已经挂上Hugging Face。 目前的答案是一句更克制的判断:这是「分工」,还不是「替代」。扩散路线证明了它能进真实的Agent工作流、而且确实更快;但它的能力底子、长文本一致性和训练生态,还立着三块没拆掉的短板。知乎

它到底做到了什么

最抓眼球的还是速度。在网页Agent评测WindTunnel的49个任务中(每项尝试3次),Clover的中位执行时间为1.52秒,「Jev+Mercury 2.5」组合为3.21秒,用时少了一半多,成功率分别为98.6%和95.9%。 其中Jev是近期走红的主打快速决策的模型,Mercury 2.5是Inception Labs的扩散代码模型,两者拼成一条组合流水线,被Clover一个模型在耗时上超过了。代码上,73.6的SWE-bench Verified成绩也已经过了「玩具模型」的阶段。 按实测者刘聪NLP的说法,它的纯文本生成速度能达到基座模型的5至10倍。但要划清边界:这些分数全部来自团队自报,发布当天知乎、Reddit、Hacker News上还都没有像样的第三方复现。36氪知乎

快从哪来:块扩散和一条95%的及格线

我们熟悉的GPT类模型是自回归(AR):根据前文预测下一个token,逐字「接龙」,每吐一个字整个模型跑一遍。扩散语言模型反过来,先把要写的内容整段遮住,让模型每轮同时猜多个空位,一步步去噪成文。Clover的折中是「块扩散」:把内容分成约32个位置一块,块与块按顺序推进,块内同时猜,每轮只定下把握超过95%的位置,其余下一轮接着猜。 这相当于签了一份没有撤回键的合同:一块定稿就改不了,混进一个错token,后面都得围着它写,所以95%是在「定得多」和「定得对」之间往保守站的一步。历史信息则交给按块扩散改造过的门控Delta网络(GDN):已生成的上下文被压缩成持续更新的状态供后续读取,当前块内token再用双向注意力相互参考。 模型总参数350亿、每个token激活约30亿,支持思考模式和128K上下文。这套改造想解决的,是扩散路线长期绕不开的矛盾:并行省时间,但一次提交越多,越难保证整体一致。知乎36氪

三块短板,都打在要害上

第一块:能力天花板还「承自父辈」。 Clover不是从零训练的,它从自回归模型Qwen3.6-35B-A3B的权重出发,再做扩散训练。 好处是省下天价预训练成本、直接继承成熟语言能力;代价是能力上限相当程度上仍受原来那个模型约束。「扩散」带来的增量主要是并行生成的速度和块内互相参考的灵活性,而不是凭空长出的一套新脑子——问它今天能不能替代ChatGPT,答案本身就别扭:它和要替代的对象共享同一个底子。知乎

第二块:长文本一致性没有架构性解决。 模型卡自己写着「我们观察到非常长的生成有时会变得重复」,团队为此内置了重复控制和渐进收尾的工程控制项。 对动辄连跑几十轮的Agent,这是实打实的风险。更底层的解释来自蚂蚁LLaDA团队的技术分析:扩散并行预测的每个位置学到的只是各自的边际分布,每个token单独看合理,不代表拼在一起仍合理;速度优势和联合一致性风险,本质上来自同一个变量——每次前向提交多少token。 这解释了为什么并行提交总先出现在标点、模板、括号这类低熵区域,碰到真正的语义分叉就变保守——自由创作类任务去噪轮数上升,速度红利相应缩水。知乎知乎

第三块:训练成本和生态还没算平。 有人给路线泼冷水:「恋猫」等知乎答主直言,扩散模型目前最大的问题是没办法低成本规模化;刘聪NLP也提醒,文本扩散训练难度偏高、去噪步数多,模型要在多步生成中保持稳定和一致并不轻松。 硬币的另一面是数据:蓝振忠团队向《晚点》介绍,后训练阶段的有限数据在自回归模型上训练约两轮就开始过拟合,扩散模型能训练到10轮以上——数据越来越贵的年代,这个利用率很诱人。但生态仍是硬账:此前扩散语言模型的工业级推理框架只有蚂蚁dInfer等刚起步的少数玩家,自回归多年积累的微调经验、工具链和部署玩法,这边基本要从头再来。知乎知乎

替代还早,但人人都想占一个座

「三年内全面替代」的说法源自小红书一个高赞帖子,搬到知乎后迅速聚起数万浏览量,吵的其实是趋势而非定论。实测过的刘聪NLP判断:「三年内扩散模型会不会全面替代AR,还很难说,但百花齐放总是好的」,他眼下最看好扩散在伴写、PPT、公文这类有模板、有固定结构任务里的速度优势。 产业地图也确实不止Clover一家:蚂蚁LLaDA系列参数从80亿扩到千亿,LLaDA 2.0对话能力与同代自回归模型持平、推理速度提升3倍以上,已在金融风控和代码修改两个场景落地。 谷歌推出DiffusionGemma探索并行文本生成,何恺明今年参与的ELF则把扩散搬进连续嵌入空间——各家方法不同,押的都是「换一种生成方式」这件事。知乎知乎

接下来盯什么

这条路线什么时候可信,目前有三个可观察的信号。第一是第三方复现:官方榜单能不能在真实工作负载下站住,社区评测这几天就会开始补票。第二是长文本水位:被工程手段压住的「重复生成」,在几十轮连续Agent任务里会不会重新冒头。第三是端侧:10月初扩散智能连续完成两轮融资、合计近5亿人民币,经纬创投、顺为资本、君联资本联合领投,中科创星、华为哈勃、地平线跟投——后两家芯片厂的指向很明确:端侧。 团队也在推进多模态版本和端侧适配的验证,AI PC、智能汽车这类算力有限、又要求毫秒级响应的场景,可能才是扩散语言模型最先「不可替代」的地方。知乎36氪

所以回到标题的问题:Clover证明了扩散模型能把GPT类模型的活干了,还没证明能替掉GPT类模型。「替代」的答案大概率不会以顶替ChatGPT的形式出现,而是出现在自回归模型挤不进去的场景里——那才是这场路线之争接下来真正的看点。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章