64G Mac 成功跑通Qwen3.5-122B-A10B!!
本次测试在 64GB 内存的 Mac Studio(M1 Max 芯片)上,通过 omlx 平台利用 oQ2 量化技术,成功部署了原本需要 200GB+ 显存的 Qwen3.5-122B-A10B 大模型。以下将从硬件环境、模型压缩效果、基准性能及长文本表现四个维度,展示其实测数据与配置建议。
01硬件环境与模型压缩
测试基于 Mac Studio(M1 Max 芯片)及 64GB 统一内存。核心采用了 omlx 平台的 oQ2 量化功能,对 Qwen3.5-122B-A10B-bf16 原始模型进行了极致压缩,使其能够适配本地硬件限制。
| 模型类型 | 量化精度 | 模型体积 | 内存适配情况 |
|---|---|---|---|
| Qwen3.5-122B-A10B (原始) | bf16 | 239.71 GB | 无法运行(超硬件限制) |
| Qwen3.5-122B-A10B (oQ2) | 2bit | 39.69 GB | 完美适配 64GB 内存 |
模型量化前后体积对比
02基准性能测试数据
在单请求 Benchmark 测试(生成长度 128 tokens)中,系统在保证稳定性的前提下表现出了较高的处理效率。峰值内存控制得当,未出现系统崩溃或严重卡顿现象。
- 生成速度:16.2 tok/s,对于 122B 参数量的模型,该速度在端侧设备上属于可用范围。
- 峰值内存:45.07 GB,模型运行加上系统占用后,安全处于 64GB 内存红线内。
- 吞吐量:125.2 tok/s,整体处理效率可观。
03长文本压力测试
针对长上下文处理能力进行了压力测试。实测显示,随着上下文长度的增加,内存压力逐渐增大。在 32K 上下文长度(pp32768)下运行稳定;但当提升至 64K 上下文时,出现内存溢出导致崩溃的情况。
- 32K 上下文:运行稳定,无崩溃。
- 64K 上下文:内存承压过大,实测崩溃。
- 建议甜点区:40960(约 40K),为该硬件配置下的最佳平衡点。
综上所述,通过 omlx 平台的 oQ2 量化技术,在 64GB Mac Studio 上实现了 Qwen3.5-122B 模型的本地化部署。最终模型占用 39GB,峰值运行内存 45GB,输出速度 16.2 tok/s,可用上下文长度约为 40K。这表明配合适当的量化工具,消费级 Mac 设备具备运行千亿参数大模型的潜力。
当前文章无评论,是时候发表评论了