在 Mac M3 Ultra 上本地部署 744B 参数的 GLM-5 大模型成为现实。通过 MLX 框架和 4-bit 量化，实现了稳定 17 tokens/s 的推理速度，为开发者和 AI 爱好者提供了兼顾性能与隐私的本地解决方案。
智能速览
GLM-5 是一个拥有 744B 参数、40B 活跃参数的 MoE 架构模型。
利用 Apple MLX 框架和 4-bit 量化在 Mac M3 Ultra 上成功部署。
实测模型推理速度稳定在 17 tokens/s。
在 Humanity’s Last Exam 等多项基准测试中性能大幅超越前代。
本地部署既保障了数据隐私，又实现了零延迟响应。
精华内容
苹果 M3 Ultra 的强大性能与开源大模型 GLM-5 的结合，为本地 AI 计算带来了新的突破。下面将深入探讨其部署细节与实际表现。
模型硬实力
GLM-5 是一个拥有 744B 总参数和 40B 活跃参数的超级混合专家（MoE）模型，专为复杂系统工程、长时域代理任务和高级编码而设计。该模型使用了高达 28.5T tokens 的预训练数据，其智能水平在多项权威基准测试中得到验证。
例如，在 Humanity’s Last Exam 基准测试中，GLM-5 取得了 50.4% 的成绩，在 BrowseComp 中达到 75.9%，在 Terminal-Bench-2.0 中则为 61.1%。这些数据均显著超越其前代产品 GLM-4.7，展现了其在处理高难度任务时的强大能力。
部署与优化
在硬件配置上，此次部署使用了搭载 512GB 统一内存的 Mac M3 Ultra。技术实现上，关键在于利用了苹果自家的机器学习框架 MLX，并对模型进行了 4-bit 量化处理。
这一组合拳有效降低了模型对内存资源的占用，同时充分利用了 M3 Ultra 芯片的统一内存架构和计算单元，使得在个人电脑上运行如此庞大的模型成为可能。整个过程证明了苹果生态在本地 AI 计算领域的巨大潜力。
性能实测
经过优化部署后，GLM-5 在 M3 Ultra 上展现出了流畅的推理性能，实测速度可以稳定在 17 tokens/s。这一速度对于本地运行大模型而言，已经达到了可用的标准。
在实际应用测试中，例如生成一个完整的 Space Invaders 游戏代码，模型仅需 7.1k tokens 的上下文，就能高效地输出高质量结果。这种性能表现意味着，即便是复杂的代码生成或逻辑推理任务，本地化部署也能提供良好体验。
本地化优势
与依赖云服务相比，本地部署 GLM-5 拥有不可替代的优势。最显著的一点是数据隐私安全，所有数据均在本地处理，无需上传至云端，完全消除了数据泄露的风险。
其次，本地运行避免了网络延迟，实现了零延迟的交互响应，这对于需要实时反馈的应用场景至关重要。长期来看，一次性投入硬件的成本，也可能低于持续调用云端 API 的费用，为专业用户提供了更具性价比的方案。
Mac M3 Ultra 成功运行 GLM-5，证明了个人设备承载顶尖 AI 模型的可行性。这不仅提升了工作效率，也为本地 AI 应用生态的发展铺平了道路。未来，我们能否期待更多强大模型的本地化，以及硬件性能的进一步突破？
关键评论
有网友在对比购买硬件和调用云接口的成本效益。
有用户质疑 17 tokens/s 的速度在实际应用中的表现。
潜在购买者关心该设备运行 GLM-4.7 8bit 版本的能力和速度。
