从CPU到GPU：使用Docker和Ollama快速搭建AI实验室

本文下面将分别详细介绍Ollama Docker镜像的使用和配置NVIDIA GPU以支持Docker容器的过程。

Ollama Docker镜像使用说明：

Ollama Docker镜像 旨在简化在本地运行大型语言模型的过程。以下是其基本使用步骤：

1. 运行Ollama容器（CPU版本）：

   • 使用以下命令启动Ollama容器：

     bashCopy code

     docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

   • 这个命令会下载Ollama镜像（如果本地没有的话），并以守护进程模式运行，将容器的11434端口映射到主机的同一端口。

2. 运行模型：

   • 使用以下命令在容器内运行模型：

     arduinoCopy code

     docker exec -it ollama ollama run llama2

   • 这允许在容器内交互式地运行Ollama模型。

3. 尝试不同模型：

   • Ollama库中提供了更多模型供选择。

配置NVIDIA GPU支持Docker容器：

若要在支持NVIDIA GPU的机器上使用Docker运行Ollama，需要安装NVIDIA Container Toolkit。以下是基于不同操作系统的安装步骤：

1. Ubuntu/Debian（使用Apt安装）：

   • 添加NVIDIA Container Toolkit仓库：

     bashCopy code

     curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list sudo apt-get update

   • 安装NVIDIA Container Toolkit：

     arduinoCopy code

     sudo apt-get install -y nvidia-container-toolkit

2. CentOS/RHEL（使用Yum或Dnf安装）：

   • 添加NVIDIA Container Toolkit仓库：

     bashCopy code

     curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo | sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo

   • 安装NVIDIA Container Toolkit：

     Copy code

     sudo yum install -y nvidia-container-toolkit

3. 配置Docker使用NVIDIA驱动：

   • 配置Docker以使用NVIDIA驱动：

     cssCopy code

     sudo nvidia-ctk runtime configure --runtime=docker sudo systemctl restart docker

4. 启动支持GPU的Ollama容器：

   • 使用以下命令启动Ollama容器，允许容器访问所有GPU：

     bashCopy code

     docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

了解更多：

• 可以访问Ollama的GitHub页面了解更多关于Ollama的详细信息和使用说明。