苹果Minions研究实操:闲置Mac组队跑AI任务全指南

源自25位全网作者

04:13

10月12日,苹果机器学习研究页发布论文《Minions》,把团队里大量 Mac 办公时闲置的 GPU 聚合成一个动态分布式虚拟 GPU 云,用来执行大规模推理任务。 但要先把最容易搞混的一点说清楚:Minions 组队的是任务,不是一个模型——8160 亿参数的大模型被多台 Mac 紧密切协作同一件事,走的是另一条路。10月16日,这两件事被同一个话题一起推上了热榜。苹果机器学习研究知乎

Minions 怎么组队:拆任务,不拆模型

论文的问题设定很具体:集中式 GPU 基础设施成本高、弹性有限、资源紧张时排队漫长,而 macOS 设备上的 GPU 在日常使用中大量闲置。 Minions 的解法是把工作流拆开分发:团队提交任务后,系统将其切成多个子任务,由参与的 Mac 主动领取,用本机 GPU 算完,再把结果上传到指定存储。 因此它只适合"能分别执行"的活儿:每台机器处理自己那一批,互不等待,谁也不用等谁。苹果机器学习研究36氪

目前这套系统披露的支持方向都符合这个特征:生成文本向量(可用于检索等场景),以及通过 Ollama 调用本地大模型完成文本生成,适合批量处理大量独立请求。36氪

闲置设备的麻烦,论文用容错和边界解决

办公场景里设备随时掉线——有人合上笔记本,有人要优先干自己的活。Minions 为此设置了任务回收机制,监测执行中的设备,一旦失去响应就把未完成的子任务重新分配给其他电脑;设备拥有者也可以设置自己优先参与的团队、项目或任务。 这与论文摘要列出的设计目标相互印证:灵活的任务执行、容错、高效的资源利用。36氪苹果机器学习研究

效果上,按论文披露的团队使用情况,过去因集中式 GPU 紧张要排队十几个小时的部分任务,接入 Minions 后往往几分钟内就能开始执行。36氪

同时要看清两条边界:它是团队或组织内部独立部署的系统,任务被限制在各自管理的设备范围内;现阶段定位也是集中式 GPU 的补充,分布式训练还只是后续计划。36氪

跑同一个大模型:MLX 与雷雳 5 的另一种"组队"

10月16日 Meta 发布 8160 亿参数的开放权重模型 Muse Spark Open,并与苹果共同展示了它在两台、四台 Mac Studio 上运行的方案,这是 Minions 同日被热议的直接原因。模型级多机推理的账要先算清:MoE 架构每次推理只激活约 420 亿参数,计算量降下来了,但没被激活的参数仍要全部存着——原生 BF16 精度下光权重就需要超过 1.6TB 内存,苹果用 NVFP4 四位量化把占用压到约 493GB,加上 KV 缓存和系统开销,单台 512GB 的 Mac Studio 依然装得勉强,只能拆到多台机器上。36氪

苹果 10 月 15 日的技术博客解释了两种拆法的差异:流水线并行按模型深度切段,实现简单但后段必须等前段;张量并行把同一层切给多台同时算,更快,代价是每生成一个 token、每一层都要广播输入并汇总输出。苹果机器学习研究

正因如此,张量并行离不开雷雳 5 上的 RDMA 低延迟通信,而 MLX 的 jaccl 组件正是为此提供支撑——苹果明确说,没有这种低延迟互联,这套方案就换不来任何加速。 演示的双机配置甚至用两根雷雳线互连,专门给机器间交换数据加带宽。苹果机器学习研究36氪

官方测试(输入 8192 tokens、生成 128 tokens)给出了直观差距:两台 M5 Ultra Mac Studio 用流水线并行约为每秒 15.74 tokens,换张量并行提到每秒 24.99 tokens,提升接近六成;加到四台,速度到每秒 36.73 tokens,首 token 等待也从约 8.2 秒缩到约 4.8 秒。36氪

硬件端同样有硬门槛:M5 Ultra 把统一内存带宽从 M3 Ultra 的 819GB/s 提到 1.2TB/s,GPU 新增的 Neural Accelerators 主要用来压缩长上下文的处理时间。36氪

今天就想组队,对号入座这三条路

批量小任务、松耦合:Minions 这类组织内系统目前未公开提供下载,但个人层面的等价做法现在就能做——每台闲置 Mac 装一个 Ollama 跑各自的小模型,把翻译、打标、向量化这类独立请求手动切成几份分发。Minions 内部干的正是这件事,只是它替你解决了领任务、掉线补跑这些管理问题。

单台大模型、多台一起扛:走开源的 MLX 分布式路线,前提是 Apple Silicon 机型、机器间雷雳互联,且多台内存之和要盖得住量化后的权重加 KV 缓存。张量并行对延迟极其敏感,普通 WiFi 或局域网互联大概率把挣来的算力赔在等待上。

配置不高的闲置 Mac:16GB、32GB 的老机型进不了模型级集群,但任务级"组队"绰绰有余——单台慢一点,多台并起来就是吞吐量。论文对这种组合的判断很直接:在集中式 GPU 受限的环境里,闲置 macOS 设备可以被改造成实际可用的分布式推理平台。苹果机器学习研究

算完账再动手:集群不是穷人的 GPU

M5 Ultra 版 Mac Studio 已于 9 月 22 日开始交付,最高支持 512GB 统一内存,苹果此前还演示过四台 Mac Studio 联合运行一个万亿参数模型。 但门槛同样真实:起售价约 46999 元,512GB 版本要到 10 月晚些才上市,跑 Muse Spark Open 还得按内存需求配齐多台设备。知乎36氪

对负载稳定的团队,本地集群的账是这样算的:设备一旦买断,就不必再为每一次推理请求支付按 token 计费的云端费用。 对个人用户结论恰好相反:为跑集群专门买 Mac 并不划算,集群的真实价值在盘活已经买过的设备、把数据留在自己手里。需要留意的边界是:上文"排队十几小时变几分钟"与各项速度数字,全部来自论文披露的团队经验和有限测试配置下的官方数据,不是任意网络、任意机龄环境下的承诺——跑得起来、跑得够快、跑得划算,始终是三个问题。知乎

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章