什么值得买App下载 App ›
连续签到专享现金活动

实测千问蒸馏Claude Opus 4.6:微调后能力不升反降

针对近期备受关注的“千问3.5蒸馏Claude Opus 4.6”模型(V3版本),进行了全方位的实测评估。该模型基于千问3.5基座进行微调,主要针对思考链进行了调整,旨在提升模型表现。测试采用了巴比特的MLX格式及OMLX推理环境,重点对比了微调版本与原版千问3.5基座模型的能力差异。
01总体评分对比
模型版本综合得分核心逻辑得分样本量
千问3.5 基座模型83.1--
千问蒸馏Claude Opus 4.6 (V3)75.168.1约14000+条

微调版本综合得分落后基座模型8分

测试结果显示,该微调模型综合得分为75.1分,远低于此前测试的千问3.5基座模型(83.1分)。若剔除上下文与多模态能力,微调版本的核心逻辑得分为68.1分,略强于千问3.5混合专家模型,但弱于Gemma 4稠密模型。从得分分布看,微调版在绝大多数细分项目上均小幅落后于基座,最终累积形成了显著的能力差距。
02分项能力实测
  • 代码生成能力
    基座模型生成的代码逻辑相对完整,功能框架可用;微调模型生成的代码逻辑混乱,功能缺失严重,对比效果强烈。
  • 多模态与图形绘制
    在Python六边形小球测试中,微调模型经过多轮对话修复后,仍无法正确将小球限制在六边形内,图形渲染能力明显不足。
  • 手机操作系统与浏览器任务
    在针对移动端操作场景的测试中,基座模型提供了较多的可执行方案,而微调模型的可用性较低,表现高下立判。
此外,评论区部分用户指出,1.4万条的样本量对于大模型微调而言可能过少,这在一定程度上限制了模型能力的提升。部分观点认为,该模型名为“蒸馏”,实质上更接近于常规的微调操作。
03结论与建议
实测表明,该微调模型并未带来预期的能力提升,反而在多项指标上出现了退化。目前行业普遍共识认为,大模型微调具有高度的不确定性,除非是模型厂商基于内部黑箱逻辑进行优化,否则普通用户通过微调提升模型能力的效果难以预测。相比之下,通过记忆上下文管理、提示词工程等快速可控且可见的方式,往往能更高效地提升特定场景下的模型表现。

评论

评论区空态插画

当前文章无评论,是时候发表评论了