Inkling-Small开源:四分之一规模推理反超原版
Thinking Machines刚甩出的Inkling-Small,体量只有原版Inkling的1/4,却在推理和编程上把老大哥反超了。这款总参数2760亿、单次激活120亿的轻量大模型,在Humanity's Last Exam测试中拿到31.6%的得分,直接高于原版Inkling的29.7%。1/4的规模,换来的却是同等算力下始终压在原版之上的性能曲线。
小号怎么赢的大号
Inkling-Small能在推理和智能体编码上站到原版前面,靠的是站在巨人肩膀上后发制人。它的训练晚于Inkling,直接吃进了前一轮的避坑经验:重新调配预训练数据、用Inkling做教师进行在线策略蒸馏,最后又追加了两周专门针对智能体编程的强化学习。不过,这份成绩单也有偏科:靠训练强化的推理编程能力追上来了,但靠参数量堆出来的硬知识含量还差一大截,在事实性测试SimpleQA上的得分比Inkling低了一倍多。
Inkling-Small能在推理和智能体编码上站到原版前面,靠的是站在巨人肩膀上后发制人。它的训练晚于Inkling,直接吃进了前一轮的避坑经验:重新调配预训练数据、用Inkling做教师进行在线策略蒸馏,最后又追加了两周专门针对智能体编程的强化学习。不过,这份成绩单也有偏科:靠训练强化的推理编程能力追上来了,但靠参数量堆出来的硬知识含量还差一大截,在事实性测试SimpleQA上的得分比Inkling低了一倍多。
算力门槛与适用场景
虽然叫Small,它依然不是普通玩家能跑起来的模型。标准BF16检查点至少需要600GB显存,得4块B300或8块H200才能扛住。目前完整权重已在Apache 2.0许可下开源,并接入了Tinker微调服务。它最适合干代码助手、RAG和多模态工作流这类重推理的任务,但如果是高风险的事实性问答,还是得靠外挂检索验证来兜底。
虽然叫Small,它依然不是普通玩家能跑起来的模型。标准BF16检查点至少需要600GB显存,得4块B300或8块H200才能扛住。目前完整权重已在Apache 2.0许可下开源,并接入了Tinker微调服务。它最适合干代码助手、RAG和多模态工作流这类重推理的任务,但如果是高风险的事实性问答,还是得靠外挂检索验证来兜底。
历史事件回溯
当前事件
Inkling-Small以1/4规模达相近性能
- 参数规模:仅为原版1/4规模
- 性能对标:达到相近模型性能
2024年4月
微软发布Phi-3-mini小模型
- 参数规模:38亿参数
- 性能对标:媲美Mixtral 8x7B
- 技术亮点:依赖高质量训练数据
2023年9月
Mistral首发7B高性能模型
- 参数规模:73亿参数
- 性能对标:性能超越Llama2 13B
- 技术亮点:采用滑动窗口注意力

当前文章无评论,是时候发表评论了