dmlx让你在Mac M4 Pro跑 DeepSeek V4大模型
dmlx v0.0.3 版本发布,实现在配备 48GB 内存的 MacBook Pro 上运行参数量达 284B 的 DeepSeek V4 大模型。该方案旨在通过本地环境运行大模型,摆脱对云端算力的依赖,利用 Zig 语言编写的运行时,在 Apple Silicon 芯片上通过 Metal 接口直接调用 GPU 资源。
01核心技术:五层内存优化
- MoE 专家流式加载
将模型需求从 138GB 压缩至 10GB,按需从 SSD 读取数据。 - 4-bit 量化
采用 SMELT 模式,将显存占用从 40GB 降低至 6GB。 - MLA 压缩
对 KV Cache 进行压缩,使其大小缩小一个数量级。 - 六种 KV 策略
支持 Paged、Tiered、Quantized 等多种策略切换。 - 零拷贝 mmap
消除约 7GB 的内存拷贝开销。
02技术选型:Zig 语言优势
Zig vs Python 运行时对比
Zig 运行时
编译为单一静态二进制文件,通过 brew install 即可直接安装使用
无需 Python 运行时环境,不存在 GIL 限制与 GC 机制
直连 Metal GPU,零 FFI(外部函数接口)损耗
启动时间 < 100ms


Python 运行时
启动时间约 2s
存在 GIL 限制与 GC 开销
通常依赖多层虚拟机或解释器,调用 GPU 存在 FFI 损耗
03实测性能数据
| 测试项目 | 性能指标 |
|---|---|
| TTFT (Time to First Token) | ~500ms |
| Token Generation Speed | 50-110ms / step |
| Steady State Throughput | ~12 tok/s |
| Test Pass Rate | 7/7 best_test 通过 |
测试环境:M4 Max 48GB + DeepSeek V4 Flash 4bit
04当前状态与局限
- 已支持功能
CLI 模式(聊天);支持 DeepSeek V4、LLaMA、Qwen、Gemma 等模型;SMELT streaming、4-bit 量化及 KV 六级策略;中英双语文档支持。 - 待开发功能
Server 模式(计划在 v0.0.4 补齐);MLX-C 内置(旨在消除 Homebrew 依赖)。
当前文章无评论,是时候发表评论了