什么值得买App下载 App ›
连续签到专享现金活动

dmlx让你在Mac M4 Pro跑 DeepSeek V4大模型

dmlx v0.0.3 版本发布,实现在配备 48GB 内存的 MacBook Pro 上运行参数量达 284B 的 DeepSeek V4 大模型。该方案旨在通过本地环境运行大模型,摆脱对云端算力的依赖,利用 Zig 语言编写的运行时,在 Apple Silicon 芯片上通过 Metal 接口直接调用 GPU 资源。
01核心技术:五层内存优化
  1. MoE 专家流式加载
    将模型需求从 138GB 压缩至 10GB,按需从 SSD 读取数据。
  2. 4-bit 量化
    采用 SMELT 模式,将显存占用从 40GB 降低至 6GB。
  3. MLA 压缩
    对 KV Cache 进行压缩,使其大小缩小一个数量级。
  4. 六种 KV 策略
    支持 Paged、Tiered、Quantized 等多种策略切换。
  5. 零拷贝 mmap
    消除约 7GB 的内存拷贝开销。
02技术选型:Zig 语言优势

Zig vs Python 运行时对比

Zig 运行时
  • 编译为单一静态二进制文件,通过 brew install 即可直接安装使用

  • 无需 Python 运行时环境,不存在 GIL 限制与 GC 机制

  • 直连 Metal GPU,零 FFI(外部函数接口)损耗

  • 启动时间 < 100ms

Python 运行时
  • 启动时间约 2s

  • 存在 GIL 限制与 GC 开销

  • 通常依赖多层虚拟机或解释器,调用 GPU 存在 FFI 损耗

03实测性能数据
测试项目性能指标
TTFT (Time to First Token)~500ms
Token Generation Speed50-110ms / step
Steady State Throughput~12 tok/s
Test Pass Rate7/7 best_test 通过

测试环境:M4 Max 48GB + DeepSeek V4 Flash 4bit

04当前状态与局限
  • 已支持功能
    CLI 模式(聊天);支持 DeepSeek V4、LLaMA、Qwen、Gemma 等模型;SMELT streaming、4-bit 量化及 KV 六级策略;中英双语文档支持。
  • 待开发功能
    Server 模式(计划在 v0.0.4 补齐);MLX-C 内置(旨在消除 Homebrew 依赖)。

评论

评论区空态插画

当前文章无评论,是时候发表评论了