什么值得买App

我的兴趣消费指南

什么值得买
连续签到专享现金活动

Ollama 最新版 来了

Ollama 发布 0.19 版本,对 Apple Silicon 平台的本地推理进行了底层重构。该版本放弃了原有的 llama.cpp 推理后端,转而采用 Apple 专为统一内存架构设计的 MLX 框架,并引入英伟达的 NVFP4 量化格式,旨在显著提升推理速度并缩小本地与云端模型的效果差异。
01核心技术升级:MLX 框架与 NVFP4
MLX 框架的核心优势在于适配 Apple Silicon 的统一内存架构,使 CPU 和 GPU 能够直接共享同一块内存,消除了数据在不同内存区间拷贝的开销。配合 M5 系列芯片新增的 GPU Neural Accelerators,该架构能够同时加速首 token 延迟(TTFT)和生成速度。在量化技术方面,Ollama 引入了 NVIDIA 基于 Blackwell 架构推出的 NVFP4 格式,旨在解决传统量化方法精度损失明显的问题,使本地推理结果与云端生产环境保持一致。

量化技术对比:NVFP4 vs 传统 Q4

高精度量化
  • 采用微块(micro-block)设计,每16个值共享一个 FP8 (E4M3) 缩放因子

  • 支持双层缩放策略,包含张量级别的 FP32 二级缩放因子

  • 在 AIME 2024 测试中,部分表现优于 FP8 精度

传统量化 (如 Q4_K_M)
  • 通常采用 32 值一组的粗粒度缩放(如 MXFP4)

  • 缩放因子精度较低(如 power-of-two)

  • 在极低精度下模型准确率损失相对明显

02性能实测与缓存优化
测试配置Prefill 速度Decode 速度
M5 + Qwen3.5-35B-A3B (常规)提升 57%接近翻倍
M5 + Qwen3.5-35B-A3B (Int4 量化)1851 token/s134 token/s
M5 Max vs M4 Max (长上下文)-M5 Max 快 2~3 倍

基于官方数据及开源基准测试工具 inference-speed-tests 的结果

除推理引擎外,0.19 版本针对缓存机制进行了三项改进,主要优化了多轮对话和 Coding Agent 等高频 Prompt 场景的响应效率。新的缓存策略显著提升了命中率,减少了重复计算的开销,特别适用于 Claude Code、OpenCode 等底层频繁调用大模型的编程工具。
03适用场景与限制
  • 硬件门槛
    目前预览版要求 Mac 设备配备 32GB 以上的统一内存。
  • 模型支持
    目前优先支持 Qwen3.5-35B-A3B 模型(Alibaba 的 MoE 模型,35B 参数激活 3B),且采样参数已针对编程任务优化。模型命名中包含“nvfp4”即代表使用了该量化格式。
  • 工具链整合
    后续版本将支持更多模型架构,并计划打通 NVIDIA Model Optimizer,方便用户导入更多 NVFP4 优化的模型。

评论

评论区空态插画

当前文章无评论,是时候发表评论了