今天凌晨,前OpenAI CTO Mira Murati创办的Thinking Machines开源了新模型Inkling 2 Mini,Apache 2.0协议,权重约20GB。哔哩哔哩微博
本地部署党最该盯住的不是参数量,是这句话:32GB内存的Mac,用Ollama就能直接跑。官方演示更绝——一台M5 Pro 48GB笔记本开着飞行模式,断网让模型现场搭出能玩的3D飞行模拟器。微博哔哩哔哩哔哩哔哩

26B是怎么塞进20GB的
两个狠活。第一是"循环":物理上只有24层,中间12层连续跑3遍,等效48层的计算深度。总参数26.4B,单次前向只激活3.4B(算上循环等效5.4B),MoE路由从128个专家里挑8个。别人盖楼往上摞,它修了个旋转楼梯——高度一样,用料省一半。哔哩哔哩微博

第二是"原生低比特":前20层从训练起就用4-bit NVFP4,后4层用8-bit MXFP8。不是常见的"高精度练完再压缩",没有事后量化掉点这一步,主权重文件19.53GB。哔哩哔哩
强项:编程和干活
官方横评里,DeepSWE v1.1拿48.2%,高于Qwen3.8-27B的42.2%;AA Index v5.0得20.1,和Qwen3.8-27B打平。斯坦福Hazy Research团队在DGX Spark上实测每瓦智能得分0.703,明显高于同测Qwen3.6-35B-A3B的0.430。它还支持图像输入,上下文窗口标到1M。哔哩哔哩微博
但官方把短板写得很坦白
循环架构能提升多步推理和长上下文检索,却变不出闭卷记忆:AA-Omniscience事实性得分-8.6,高度依赖外部搜索和工具调用;多轮复杂约束遵循(MultiChallenge 50.0%)也弱于Qwen3.8-27B。哔哩哔哩
翻译成人话:给它工具让它写代码、查资料、干活,是把好手;断网问它百科知识,别指望答得靠谱。“能离线跑"和"离线全知”,从来是两回事。
你现在该不该下
手持32GB以上内存的Mac或DGX Spark、主要想跑本地编程Agent,今天就可以试,Ollama和Unsloth的GGUF版本已就位。至于更多硬件上的量化生态,社区还在"坐等量化",别急。哔哩哔哩微博
最后泼盆冷水:以上跑分全是官方自报,模型发布还不到一天,第三方大规模验证没跟上;那个SWEBench Verified 79.2%,还挂着"仅bash"的限定条件。先拿自己的真实任务试,再决定要不要把它转正成主力。哔哩哔哩
当前文章无评论,是时候发表评论了