WSL 中大模型本地部署:Ollama 与 vLLM 实战指南
在 WSL2 环境中利用宿主机显卡进行大模型本地部署,是许多开发者在构建个人 AI 工作台时的首选方案。本文旨在提供一套经过验证的完整部署路径,涵盖了从基础环境检查到高性能推理框架落地的全过程。
01前置环境检查与配置
- 确认 WSL 版本
WSL2 从特定版本开始才支持 GPU 直通功能。在终端中输入wsl --status检查当前版本,确保使用的是 WSL2。 - 验证 GPU 驱动透传
如果宿主机安装了 NVIDIA 显卡及驱动,在 WSL 终端中执行nvidia-smi。若能正确显示 GPU 信息,说明驱动已成功透传至 WSL 环境。 - 系统兼容性说明
本文以 Arch Linux 为例进行演示。对于 Ubuntu 或 Debian 用户,操作逻辑相同,仅需将包管理器命令(如pacman或yay)替换为apt即可。
02Ollama 部署与使用
Ollama 是一个开源的大模型运行平台,支持在本地快速运行、管理各类大语言模型,并提供 REST API 接口。
| 操作步骤 | Arch Linux 命令 | Ubuntu/Debian 命令 |
|---|---|---|
| 安装 Ollama | yay -S ollama | curl -fsSL https://ollama.com/install.sh | sh |
| 启动服务 | ollama serve | ollama serve |
| 运行模型 (以DeepSeek-R1为例) | ollama run deepseek-r1 | ollama run deepseek-r1 |
Ollama 安装与基础运行命令对照
Ollama 服务默认监听 11434 端口。启动服务后,即可通过 HTTP 请求与其进行交互,或将其集成到其他应用中。
03Docker 容器显卡直通配置
为了在 Docker 容器中调用 GPU 资源,必须安装 NVIDIA 容器工具包(NVIDIA Container Toolkit)。
- 安装 NVIDIA Container Toolkit
Arch Linux:yay -S nvidia-container-toolkit
Ubuntu/Debian: 使用apt安装nvidia-container-toolkit包。 - 配置 Docker 运行时
编辑daemon.json配置文件,将nvidia-container-runtime注册为默认运行时,并重启 Docker 服务使配置生效。 - 在 docker-compose.yml 中配置 GPU
在服务定义下添加部署配置:deploy:
resources:
reservations:
devices:
- capabilities: [gpu]
04vLLM 高性能部署
vLLM 是一个高效的大模型推理框架,通过 PagedAttention 等先进的内存管理技术,能显著提升推理速度和吞吐量,适合对性能要求较高的场景。
- 安装 vLLM
推荐使用 uv 进行快速安装:uv venvsource .venv/bin/activateuv pip install vllm - Python 脚本调用
创建脚本并引入from vllm import LLM, SamplingParams,初始化 LLM 实例并指定模型路径,即可进行离线推理。 - 启动 OpenAI 兼容 API 服务
使用命令启动 API 服务器:python -m vllm.entrypoints.openai.api_server --model <模型名称>
服务启动后,兼容 OpenAI 接口协议,可直接替换原有调用地址。
对于容器化部署,可编写专门的
docker-compose.vllm.yml 文件,利用 GPU 直通特性运行 vLLM 服务。建议在部署过程中,先从较小参数量的模型开始测试,逐步调整参数以监控资源使用情况,从而找到最适合当前硬件配置的部署方案。
当前文章无评论,是时候发表评论了