什么值得买App

我的兴趣消费指南

什么值得买
连续签到专享现金活动

E3 神教 + 矿渣 RX590:垃圾佬本地部署 AI 大模型完整指南

利用闲置的 E3 主机和 AMD RX 590 显卡进行本地大模型部署是可行的。尽管网上教程多针对 N 卡,但通过配置 Vulkan 环境,A 卡同样能够流畅运行 7B 量化模型。本文将基于 Ubuntu 22.04 系统,详细梳理从系统安装到模型运行的完整流程。
01系统安装与基础准备
使用 Ventoy 制作启动盘,并安装 Ubuntu 22.04.5 桌面版系统。安装完成后,先将系统提示的更新与升级操作暂时搁置,以免影响后续依赖安装。随后,将所需的 Ollama 安装包和模型备份包复制到系统的 ~/下载 目录下。
02环境依赖配置与显卡验证
  1. 安装必要工具
    打开终端,依次执行以下命令安装显卡工具、Vulkan 驱动及解压软件:
    sudo apt update
    sudo apt install -y pciutils lshw curl mesa-vulkan-drivers vulkan-tools zstd
  2. 验证硬件状态
    执行以下命令确认设备是否被正确识别(RX 590 可能显示为 580 系列,属于正常现象),并验证 Vulkan 支持情况:
    lspci | grep VGA
    vulkaninfo | grep deviceName
    zstd --version
03Ollama 服务部署与 Vulkan 配置
  1. 解压并安装 Ollama
    进入下载目录,解压安装包到用户目录,并配置环境变量:
    cd ~/下载
    tar --zst -xvf ollama-linux-amd64.tar.zst -C ~
    echo 'export PATH=$PATH:~/bin' >> ~/.bashrc
    source ~/.bashrc
    验证安装:
    ollama --version
  2. 配置 Systemd 服务(关键步骤)
    创建服务文件,必须加入 OLLAMA_VULKAN=1 环境变量以启用 AMD 显卡加速,否则会降级到 CPU 运行:
    sudo tee /etc/systemd/system/ollama.service <
    [Unit]
    Description=Ollama Service
    After=network-online.target
    [Service]
    ExecStart=/home/用户名/bin/ollama serve
    User=用户名
    Restart=always
    RestartSec=3
    Environment="PATH=$PATH"
    Environment="OLLAMA_VULKAN=1"
    [Install]
    WantedBy=default.target
    EOF
    注意将“用户名”替换为实际用户名。随后启动服务并设为开机自启:
    sudo systemctl daemon-reload
    sudo systemctl enable ollama
    sudo systemctl start ollama
    检查服务状态,显示绿色 active (running) 即为成功:
    systemctl status ollama
04模型加载与常用命令
  1. 导入模型
    解压模型备份到 Ollama 目录并重启服务:
    cd ~/下载
    tar -xzf ollama_models_backup_20260315.tar.gz -C ~/.ollama/
    sudo systemctl restart ollama
    查看已安装模型:
    ollama list
  2. 创建大上下文模型
    通过 Modelfile 创建支持 32K 上下文的模型:
    cat > ~/Modelfile <
    FROM qwen2.5:7b-instruct-q4_K_M
    PARAMETER num_ctx 32768
    EOF
    ollama create qwen2.5:7b-32k -f ~/Modelfile
  3. 运行与对话
    启动终端对话:
    ollama run qwen2.5:7b-32k
    在提示符 >>> 后输入内容即可交互,输入 /bye 退出。
功能分类常用命令说明
模型管理ollama list查看已安装模型
模型管理ollama pull/rm 模型名下载/删除模型
运行控制ollama run 模型名启动终端对话
运行控制ollama run 模型名 "提问"非交互模式,直接返回答案
系统维护ollama ps查看运行中模型状态
对话内命令/bye退出当前对话

Ollama 常用命令速查表

评论

评论区空态插画

当前文章无评论,是时候发表评论了