什么值得买App下载 App ›
连续签到专享现金活动

WSL 中大模型本地部署:Ollama 与 vLLM 实战指南

在 WSL2 环境中利用宿主机显卡进行大模型本地部署,是许多开发者在构建个人 AI 工作台时的首选方案。本文旨在提供一套经过验证的完整部署路径,涵盖了从基础环境检查到高性能推理框架落地的全过程。
01前置环境检查与配置
  1. 确认 WSL 版本
    WSL2 从特定版本开始才支持 GPU 直通功能。在终端中输入 wsl --status 检查当前版本,确保使用的是 WSL2。
  2. 验证 GPU 驱动透传
    如果宿主机安装了 NVIDIA 显卡及驱动,在 WSL 终端中执行 nvidia-smi。若能正确显示 GPU 信息,说明驱动已成功透传至 WSL 环境。
  3. 系统兼容性说明
    本文以 Arch Linux 为例进行演示。对于 Ubuntu 或 Debian 用户,操作逻辑相同,仅需将包管理器命令(如 pacman 或 yay)替换为 apt 即可。
02Ollama 部署与使用
Ollama 是一个开源的大模型运行平台,支持在本地快速运行、管理各类大语言模型,并提供 REST API 接口。
操作步骤Arch Linux 命令Ubuntu/Debian 命令
安装 Ollamayay -S ollamacurl -fsSL https://ollama.com/install.sh | sh
启动服务ollama serveollama serve
运行模型 (以DeepSeek-R1为例)ollama run deepseek-r1ollama run deepseek-r1

Ollama 安装与基础运行命令对照

Ollama 服务默认监听 11434 端口。启动服务后,即可通过 HTTP 请求与其进行交互,或将其集成到其他应用中。
03Docker 容器显卡直通配置
为了在 Docker 容器中调用 GPU 资源,必须安装 NVIDIA 容器工具包(NVIDIA Container Toolkit)。
  • 安装 NVIDIA Container Toolkit
    Arch Linux: yay -S nvidia-container-toolkit
    Ubuntu/Debian: 使用 apt 安装 nvidia-container-toolkit 包。
  • 配置 Docker 运行时
    编辑 daemon.json 配置文件,将 nvidia-container-runtime 注册为默认运行时,并重启 Docker 服务使配置生效。
  • 在 docker-compose.yml 中配置 GPU
    在服务定义下添加部署配置:
    deploy:
    resources:
    reservations:
    devices:
    - capabilities: [gpu]
04vLLM 高性能部署
vLLM 是一个高效的大模型推理框架,通过 PagedAttention 等先进的内存管理技术,能显著提升推理速度和吞吐量,适合对性能要求较高的场景。
  1. 安装 vLLM
    推荐使用 uv 进行快速安装:
    uv venv
    source .venv/bin/activate
    uv pip install vllm
  2. Python 脚本调用
    创建脚本并引入 from vllm import LLM, SamplingParams,初始化 LLM 实例并指定模型路径,即可进行离线推理。
  3. 启动 OpenAI 兼容 API 服务
    使用命令启动 API 服务器:
    python -m vllm.entrypoints.openai.api_server --model <模型名称>
    服务启动后,兼容 OpenAI 接口协议,可直接替换原有调用地址。
对于容器化部署,可编写专门的 docker-compose.vllm.yml 文件,利用 GPU 直通特性运行 vLLM 服务。建议在部署过程中,先从较小参数量的模型开始测试,逐步调整参数以监控资源使用情况,从而找到最适合当前硬件配置的部署方案。

评论

评论区空态插画

当前文章无评论,是时候发表评论了