什么值得买App下载 App ›
连续签到专享现金活动

Mac mini M6 滑进 4 字头:想跑本地大模型,先过三道墙

年末硬件圈最热的话题,是滑到 4 字头的 Mac mini M6。官方发售价 16+256 要 6999 元。10 月底百亿补贴干到 4699,10 月 21 日甚至短暂摸到过 4299。"最便宜的苹果 AI 盒子"的名号响得吓人,评论区问得最多的一句却是:到底能不能跑本地大模型?知乎知乎

Mac mini M6 滑进 4 字头:想跑本地大模型,先过三道墙

能跑吗?能跑,也能翻车。 翻的不是芯片,是教程很少跟你摊开的三道墙。

第一道墙:统一内存不是显卡,是要分摊的

Mac 的"统一内存",是系统、模型权重、上下文缓存(KV)挤同一口锅。macOS 常驻要吃掉几个 G,16G 的舒适区就是 9B 级模型——网友实测 9B 约 23 token/s,日常问答绰绰有余;想上 14B,开始吃 swap(拿内存硬撑显存),卡到心慌。哔哩哔哩

那今年人人念叨的 27B 呢?量化之后,24G 档实测翻车。32GB 才是实用下限。而 M6 全系内存封顶就是 32GB,想跑 70B?得 64GB。哔哩哔哩知乎哔哩哔哩

Mac mini M6 滑进 4 字头:想跑本地大模型,先过三道墙

第二道墙:跑分是跑分,干活是干活

苹果宣称 M6 的 GPU AI 性能比 M4 暴涨 4 倍,账面确实猛。但大模型逐字生成吃的是内存带宽,苹果规格页写得清楚:16GB 版带宽 153GB/s,24/32GB 版才是 170GB/s。丐版连带宽都没给满,32G 跑 27B 稠密模型,公开实测大多落在 10 token/s 上下。知乎哔哩哔哩

有 32G 车主买了打算干重活,结果跑 27B 做一个简单信息检索花了 5 个多小时,这条吐槽顶着 42 个赞。别拿评测跑分当预期,短上下文空机的数字,和你的日常不是一回事。哔哩哔哩

有人干脆不靠 GPU,把模型塞给神经引擎(ANE)跑:网友实测 9B 能到 45 token/s,功耗只有 GPU 的三分之一。代价是挑模型,ANE 合拍的版本才跑得动,新手慎入。

第三道墙:你可能根本不该用它跑大模型

翻车帖评论区的清醒发言反复出现:这不是跑大模型的,是 24 小时挂着干活的 Agent 盒子。2nm 带来的安静和低功耗,让它天生适合当全天待命的自动化节点——接 API 调云端模型、跑 9B 处理轻量活——这才是 Mac mini 的主场。知乎

真想本地干活,网友的方案很直接:一张 4080 Super 32G 配大内存,MoE 模型跑出 80 token/s。哔哩哔哩

Mac mini M6 滑进 4 字头:想跑本地大模型,先过三道墙

那到底怎么买

  • 只想要安静的主机 / Agent 盒子:16+512,渠道 6399 左右。256G 版硬盘焊死、读写还只有 512G 版的一半,别图便宜碰它。知乎

  • 就想本地跑 27B 玩明白:咬牙 32G,并接受 10 token/s 的龟速和有限的上下文,别指望它替班干活。

  • 要正经跑 70B 以上:别在 mini 上纠结,钱省下来换显卡路线或 M5 Pro。

Mac mini M6 滑进 4 字头:想跑本地大模型,先过三道墙

降价是真的,但"跑大模型"多半只是个给自己找的理由。内存档位按你每天都跑的模型定,别按周末想尝鲜的那一次定。

评论

评论区空态插画

当前文章无评论,是时候发表评论了