基于nvidia rtx 2080ti 22G显卡搭建我的ai服务器

前言：之前基于AMD mi50 32G显卡成功搭建了ai服务器，但是使用过程中问题比较多，包括：

1.支持的ollama版本更新不及时，不能及时使用最新的大模型；

2.对comfyui的支持不好，图片和视频生成不稳定；

3.预处理较慢。

基于以上原因，再加上mi50最近涨价到了两千多，价格和 2080ti 22G已经相当了，所有将mi50出掉，平替成2080ti，本文记录替换折腾过程，供感兴趣的朋友参考。

一、硬件安装

硬件安装过程主要遇到以下坑，记录一下解决过程：

1.主板不识别显卡

经检查确认，是显卡延长线变形，用手将延长线插槽扳直回复：用好的pcie网卡插延长线主板bios也不识别，排除显卡问题；直接插主板pcie插槽能识别，定位延长线问题；观察延长线插槽变形进行扳正尝试。

2.插X16插槽导致序号2的网卡消失

开机后无法联网，使用ip link show | less命令查看网卡设备，发现序号2网卡消失，直接从1跳到3，先插X4插槽，尝试安装驱动，安装驱动过程中报错，又插回X16，序号2的网卡莫名其妙又回来了。

二、驱动安装

直接在英伟达官网下载显卡对应的.run后缀命的驱动文件，放到临时文件里，按以下步骤安装：

1.获取文件权限chmod +x /tmp/NVIDIA-Linux-x86_64-595.80.run；

2.安装驱动./NVIDIA-Linux-x86_64-595.80.run

安装过程中如果遇到选项不知道怎么选，或者遇到报错，直接截图问豆包就行了。

三、NVIDIA Container Toolkit 工具安装

参考这篇文章

https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html

四、ollma调用测试

在容器内查看显卡信息，确认显卡被正确识别。