E3 神教 + 矿渣 RX590:垃圾佬本地部署 AI 大模型完整指南
利用闲置的 E3 主机和 AMD RX 590 显卡进行本地大模型部署是可行的。尽管网上教程多针对 N 卡,但通过配置 Vulkan 环境,A 卡同样能够流畅运行 7B 量化模型。本文将基于 Ubuntu 22.04 系统,详细梳理从系统安装到模型运行的完整流程。
01系统安装与基础准备
使用 Ventoy 制作启动盘,并安装 Ubuntu 22.04.5 桌面版系统。安装完成后,先将系统提示的更新与升级操作暂时搁置,以免影响后续依赖安装。随后,将所需的 Ollama 安装包和模型备份包复制到系统的 ~/下载 目录下。
02环境依赖配置与显卡验证
- 安装必要工具
打开终端,依次执行以下命令安装显卡工具、Vulkan 驱动及解压软件:sudo apt updatesudo apt install -y pciutils lshw curl mesa-vulkan-drivers vulkan-tools zstd - 验证硬件状态
执行以下命令确认设备是否被正确识别(RX 590 可能显示为 580 系列,属于正常现象),并验证 Vulkan 支持情况:lspci | grep VGAvulkaninfo | grep deviceNamezstd --version
03Ollama 服务部署与 Vulkan 配置
- 解压并安装 Ollama
进入下载目录,解压安装包到用户目录,并配置环境变量:cd ~/下载tar --zst -xvf ollama-linux-amd64.tar.zst -C ~echo 'export PATH=$PATH:~/bin' >> ~/.bashrcsource ~/.bashrc
验证安装:ollama --version - 配置 Systemd 服务(关键步骤)
创建服务文件,必须加入OLLAMA_VULKAN=1环境变量以启用 AMD 显卡加速,否则会降级到 CPU 运行:sudo tee /etc/systemd/system/ollama.service <[Unit]Description=Ollama ServiceAfter=network-online.target[Service]ExecStart=/home/用户名/bin/ollama serveUser=用户名Restart=alwaysRestartSec=3Environment="PATH=$PATH"Environment="OLLAMA_VULKAN=1"[Install]WantedBy=default.targetEOF
注意将“用户名”替换为实际用户名。随后启动服务并设为开机自启:sudo systemctl daemon-reloadsudo systemctl enable ollamasudo systemctl start ollama
检查服务状态,显示绿色 active (running) 即为成功:systemctl status ollama
04模型加载与常用命令
- 导入模型
解压模型备份到 Ollama 目录并重启服务:cd ~/下载tar -xzf ollama_models_backup_20260315.tar.gz -C ~/.ollama/sudo systemctl restart ollama
查看已安装模型:ollama list - 创建大上下文模型
通过 Modelfile 创建支持 32K 上下文的模型:cat > ~/Modelfile <FROM qwen2.5:7b-instruct-q4_K_MPARAMETER num_ctx 32768EOFollama create qwen2.5:7b-32k -f ~/Modelfile - 运行与对话
启动终端对话:ollama run qwen2.5:7b-32k
在提示符>>>后输入内容即可交互,输入/bye退出。
| 功能分类 | 常用命令 | 说明 |
|---|---|---|
| 模型管理 | ollama list | 查看已安装模型 |
| 模型管理 | ollama pull/rm 模型名 | 下载/删除模型 |
| 运行控制 | ollama run 模型名 | 启动终端对话 |
| 运行控制 | ollama run 模型名 "提问" | 非交互模式,直接返回答案 |
| 系统维护 | ollama ps | 查看运行中模型状态 |
| 对话内命令 | /bye | 退出当前对话 |
Ollama 常用命令速查表
当前文章无评论,是时候发表评论了