Ollama 不调用 GPU 只用 CPU?本地模型运行问题排查与解决方法
在本地部署大模型时,部分用户遭遇了Ollama仅占用CPU而GPU利用率几乎为零的情况,这导致模型加载和推理速度显著变慢。针对这一问题,通常可以从配置通用Vulkan计算或更新NVIDIA驱动以启用CUDA两个方面进行排查和解决。
01通用方案:配置Vulkan环境变量
- 新建系统变量
在此电脑属性中找到“高级系统设置”,进入“环境变量”界面。在系统变量下点击“新建”。 - 设置参数
变量名输入 OLLAMA_VULKAN,变量值输入 1,点击确定保存。 - 重启应用
退出并重新打开Ollama及命令行工具,再次运行模型即可生效。
该方法通过Vulkan进行计算,兼容性较强。测试显示,配置后模型加载速度可从几分钟缩短至几十秒。但需注意,其运行速度通常略慢于原生支持,且在使用NVIDIA显卡时,GPU占用率可能不如Intel核显那般显著。
02N卡专属:更新驱动并启用CUDA
- 检查驱动版本
在命令行执行 nvidia-smi。若显示“不是内部或外部命令”,可定位至 C:\Program Files\NVIDIA Corporation\NVSMI 目录执行。 - 验证兼容性
Ollama要求N卡计算能力5.0+且驱动版本531及以上。若旧版本不满足,需更新驱动。 - 下载安装驱动
访问NVIDIA官网驱动页面,选择对应显卡系列(如RTX 20系列),下载Game Ready或Studio驱动进行安装。 - 验证GPU调用
重启Ollama后,通过 nvidia-smi 或 ollama ps 命令查看GPU显存占用与计算利用率,确认CUDA已启用。
值得注意的是,Windows任务管理器默认显示的是3D图形渲染利用率,而非CUDA计算利用率。因此,即使任务管理器显示GPU占用极低,通过上述命令行工具检查,往往会发现GPU实际上正在高效工作。
03性能实测与显存对应关系
| 测试场景 | 硬件配置 | 显存需求 | 资源占用表现 | 输出速率 |
|---|---|---|---|---|
| 小模型 (Qwen2.5:3B) | 6G显存显卡 | 约2.4GB | GPU占用100%,CPU几乎不吃 | - |
| 大模型 (Qwen3.5:9B) | 6G显存显卡 | 约9.5GB (超出显存) | CPU占用50%,GPU占用0.1%* (或混合计算) | - |
| 方案对比 (Vulkan vs CUDA) | RTX 2060 | - | 加载:Vulkan较快 推理:CUDA较快 | Vulkan: ~90 tokens/s CUDA: ~94 tokens/s |
不同模型规模与计算方案下的实测数据
实测数据表明,当模型参数量较小且显存充足时,GPU能够完全接管计算任务;一旦模型显存需求超出物理显存,系统将自动调用CPU进行辅助,导致任务管理器显示的GPU占用率下降。在推理速度上,启用CUDA的方案略优于Vulkan方案,但在模型加载阶段,Vulkan可能展现出更快的速度。
当前文章无评论,是时候发表评论了