什么值得买App下载 App ›
连续签到专享现金活动

Ollama 不调用 GPU 只用 CPU?本地模型运行问题排查与解决方法

在本地部署大模型时,部分用户遭遇了Ollama仅占用CPU而GPU利用率几乎为零的情况,这导致模型加载和推理速度显著变慢。针对这一问题,通常可以从配置通用Vulkan计算或更新NVIDIA驱动以启用CUDA两个方面进行排查和解决。
01通用方案:配置Vulkan环境变量
  1. 新建系统变量
    在此电脑属性中找到“高级系统设置”,进入“环境变量”界面。在系统变量下点击“新建”。
  2. 设置参数
    变量名输入 OLLAMA_VULKAN,变量值输入 1,点击确定保存。
  3. 重启应用
    退出并重新打开Ollama及命令行工具,再次运行模型即可生效。
该方法通过Vulkan进行计算,兼容性较强。测试显示,配置后模型加载速度可从几分钟缩短至几十秒。但需注意,其运行速度通常略慢于原生支持,且在使用NVIDIA显卡时,GPU占用率可能不如Intel核显那般显著。
02N卡专属:更新驱动并启用CUDA
  1. 检查驱动版本
    在命令行执行 nvidia-smi。若显示“不是内部或外部命令”,可定位至 C:\Program Files\NVIDIA Corporation\NVSMI 目录执行。
  2. 验证兼容性
    Ollama要求N卡计算能力5.0+且驱动版本531及以上。若旧版本不满足,需更新驱动。
  3. 下载安装驱动
    访问NVIDIA官网驱动页面,选择对应显卡系列(如RTX 20系列),下载Game Ready或Studio驱动进行安装。
  4. 验证GPU调用
    重启Ollama后,通过 nvidia-smi 或 ollama ps 命令查看GPU显存占用与计算利用率,确认CUDA已启用。
值得注意的是,Windows任务管理器默认显示的是3D图形渲染利用率,而非CUDA计算利用率。因此,即使任务管理器显示GPU占用极低,通过上述命令行工具检查,往往会发现GPU实际上正在高效工作。
03性能实测与显存对应关系
测试场景硬件配置显存需求资源占用表现输出速率
小模型 (Qwen2.5:3B)6G显存显卡约2.4GBGPU占用100%,CPU几乎不吃-
大模型 (Qwen3.5:9B)6G显存显卡约9.5GB (超出显存)CPU占用50%,GPU占用0.1%* (或混合计算)-
方案对比 (Vulkan vs CUDA)RTX 2060-加载:Vulkan较快
推理:CUDA较快
Vulkan: ~90 tokens/s
CUDA: ~94 tokens/s

不同模型规模与计算方案下的实测数据

实测数据表明,当模型参数量较小且显存充足时,GPU能够完全接管计算任务;一旦模型显存需求超出物理显存,系统将自动调用CPU进行辅助,导致任务管理器显示的GPU占用率下降。在推理速度上,启用CUDA的方案略优于Vulkan方案,但在模型加载阶段,Vulkan可能展现出更快的速度。

评论

评论区空态插画

当前文章无评论,是时候发表评论了