什么值得买App下载 App ›
连续签到专享现金活动

Inkling 2 Mini:文件20GB,门槛32GB

发布时放出的那段演示挺唬人:一台笔记本切到飞行模式,断网,几分钟搭出一个能玩的 3D 飞行模拟器,外加一个住了 20 个村民的像素小镇。哔哩哔哩

那台机器是 48GB 内存的 M5 Pro。

11 月 20 日,Mira Murati 的 Thinking Machines Lab 开源了 Inkling 2 Mini,权重走 Apache 2.0,Hugging Face 直接下、不设门控。图文双输入、文字输出,上下文标到 100 万 token。总参数 26.4B,权重主文件 19.53GB,加上草稿模型和分词器,整个仓库 20GB 出头。知乎哔哩哔哩小红书

另一半卡在硬件清单上:一台 DGX Spark,或 32GB 内存以上的苹果电脑,或 32GB 显存以上的显卡,三选一。16GB 的机器不在里面。知乎小红书

Inkling 2 Mini:文件20GB,门槛32GB

省的是硬盘,不是算力

它物理上只有 24 层:头 6 层跑一遍,尾 6 层跑一遍,中间 12 层共用一套权重,来回走三遍。存储按 24 层,计算按 48 层——这就是循环架构,也是 26B 能压进 20GB 的原因。知乎

Inkling 2 Mini:文件20GB,门槛32GB

代价写在另一组数字里。模型卡说每个 token 激活 3.4B,紧接着补了一句:算上循环,等效激活 5.4B,每多走一遍循环多约 1B。3.4B 是用来看稀疏度的,5.4B 才是估速度该用的数。循环额外吃的还是显存带宽:同一个 token 要把中间层权重反复读三遍,单请求解码更容易卡在带宽上,不是容量上。用计算换参数,方向没错,只是这笔计算最后落在你的机器上。哔哩哔哩小红书

16GB 想跑,得挑档位

Unsloth 已经出了 GGUF:Q3_K_XL 13.63GB,Q4_K_M 16.61GB,Q4_K_XL 17.63GB。压到最狠的 UD-IQ2_XXS 只剩 8.49GB,首选 token 一致率也从 Q4_K_XL 的 98.0% 掉到 90.6%。视觉编码器还得单独算一份,Q8 版 0.35GB。知乎小红书

Inkling 2 Mini:文件20GB,门槛32GB

16GB 的机器先看 3-bit 这一档:Q3_K_XL 加视觉编码器接近 15GB,塞得进去,但上下文就别指望留多少。这段一致率的差距,就是“能装下”和“能用”之间的距离。小红书

工具链上还有坑。Ollama 目前只支持苹果芯片,Windows 加 N 卡得走 llama.cpp 或 Unsloth 的量化包。而 llama.cpp 对这种循环结构的支持,官方仓库自己写了“处于早期阶段”,速度随运行时和硬件变化很大。知乎

原件本身就是低精度:前 20 层用 NVFP4 训练,后 4 层是 MXFP8,下下来不用再量化一遍。代价是太老的卡不认这种格式。哔哩哔哩

跑分得拆成两半看

编程是真能打。DeepSWE v1.1 拿 48.2%,同场的 Qwen3.8-27B 是 42.2%,124.5B 的 Nemotron 3.5 Super VL 只有 24.7%;SWE-bench Verified 79.2%,在 100B 以下的开源模型里排第一。哔哩哔哩

最能说明问题的是安全漏洞榜 CyberBench:它和 Opus 5.5 同分,都是 74.58%。但单次测试成本 0.93 美元对 4.17 美元,token 消耗 29.09m 对 6.80m,耗时 33 分对 23 分。省的是单价,多花的是算力和等待——本地跑没有单价,只有你机器的电和时间。小红书

还得记一句:这些编程分都是发布方自己跑的,模型卡每一行下面都标了小字,写着自己是用 mini-swe-agent 还是 pi 零点八三测的。框架不同,分数就不能横向硬比。换到第三方的综合榜,位置也立刻变:Vals Index 46.46%,43 个模型里排第 38。知乎小红书

官方列的短板,比跑分有用

模型卡的 Limitations 写得挺实在。知识储备明显不如大哥 Inkling 2 Small,事实题会答错,而且答得很自信;推理会陷进死循环,调试代码时反复检查同一处不动的地方;当工具使的时候,可能不问就删文件;中文输出会断句、会夹英文。循环也只能提升多步推理和长上下文检索,不会凭空增加权重里的闭卷记忆,AA-Omniscience 事实性 -8.6。知乎哔哩哔哩

还有一条容易忽略:调到最低档也关不掉推理,中间那 12 层永远跑三遍,最低档关掉的只是可选的思考步骤。多轮和强约束指令也弱于 Qwen3.8-27B,MultiChallenge 50.0%,ComplexConstraints v1.1 33.4%。知乎哔哩哔哩

到底下不下

它擅长的三件事:写代码、按指令改东西、看截图说出界面上有什么。恰好是本地部署最值钱的场景——下载下来就能自己跑,不用按量付费,聊天记录和文件也不用上传。不擅长的三件事也很清楚:当知识库,当中文写手,当能放手不管的通用 Agent。小红书

32GB 以上的机器,下 Q4_K_M,跑三件事再决定:让它读一份项目配置文件说清干什么用;给它一张界面截图问上面有什么;拿一个你已写好测试的小函数让它改,看能不能过。三件都行,就留着当本地编码助手;有一件不行,等社区把 GGUF 再压一压,或等 vLLM 正式发版。

Inkling 2 Mini:文件20GB,门槛32GB

16GB 不是不能试,Q3_K_XL 塞得进去。但要清楚换来了什么:一致率从 98% 掉到 90% 出头,上下文余量所剩无几。这不是白捡的 26B。

至于那台在飞机上搭出飞行模拟器的笔记本——它是 48GB 的。

评论

评论区空态插画

当前文章无评论,是时候发表评论了