12层跑三遍:26B开源模型进笔记本,32G内存先看清三件事
北京时间11月21日凌晨4点多,前OpenAI CTO Mira Murati 的公司 Thinking Machines Lab 正式发布开源模型 Inkling 2 Mini,权重直接挂上 Hugging Face,纯 Apache 2.0 许可证,官方原话是"小到能在笔记本上跑"。一天之内,"20GB 大模型进笔记本"刷满了本地党社区,B站相关快讯单条超4万播放、500多条讨论。小红书哔哩哔哩小红书

它凭什么值得熬夜?核心是循环架构:物理24层、稀疏MoE(每次从128个专家里选8个)、中间12层对每个 token 连续循环3遍,计算深度等效48层,单次激活却只有3.4B。权重没变大,逻辑上等于48层,用小激活干出大模型的活——打个比方,别人是养一个大力士,它是让中等个头的把同一套动作认真做三遍。哔哩哔哩小红书

分数也要看准。它在 DeepSWE v1.1 上拿到 48.2%,同尺寸开源里领先,多项编码与Agent任务接近或超越 Qwen3.8-27B。但综合智能指数 AA Index 是20.1,跟 Qwen3.8-27B 打平,同一张官方表上也不是样样第一。"屠杀小模型"是标题党,而且这些分数目前全是官方自述,不是第三方实测。小红书哔哩哔哩哔哩哔哩

你的机器接得住吗? 评论区问得最多的就是这个。前20层是原生4-bit NVFP4训练,不用额外量化转换、不掉点,主权重单文件19.53GB,32GB及以上内存的Mac就能本地离线跑,DGX Spark 也在官方名单里。社区已铺好 llama.cpp 的 GGUF 和 Mac 的 MLX 路线。N卡这边,建议32GB及以上显存。至于"16G内存也能跑",那是 Unsloth 快速推出的更深量化档:装得下,不等于跑得爽,上下文一拉长,首字延迟先替你紧张。官方压根没公布笔记本上的 token/s——想尝鲜,就是第一波小白鼠。哔哩哔哩小红书小红书小红书
官方自己在 Limitations 里泼了三瓢冷水:循环加的是"深度"不是"知识",不能凭空增加权重闭卷记忆,AA-Omniscience 事实性掉了8.6分,得靠外部搜索和工具补记忆;多轮复杂约束偏弱,MultiChallenge 只有50%,追不上 Qwen3.8-27B。中文还糙,已有测试出现句子截断、中英混用。哔哩哔哩小红书
所以别急着拿它替换聊天主力。它的主场是断网写代码、本地 coding agent 和隐私敏感的长文档——官方定位就是"更适合依赖推理质量的 agent 写代码",而且1M token 上下文、支持文字+图片输入。官方演示过研究人员在飞行模式、完全离线的 MacBook 上几分钟搭出可玩的3D飞行模拟器。有个彩蛋:配套研究版能把循环次数拧到1或2,等于自带"思考档位"。结论就一句:先拿自己的真实任务测一轮再决定装不装,分数是官方的,速度才是你的。哔哩哔哩小红书小红书

当前文章无评论,是时候发表评论了