60块钱P106矿卡玩本地的ChatGPT

最近显卡便宜了不少，之前我一直是买A卡的。

但是自从大模型火起来以后，就准备换一张N卡玩。

技术方案，运行清华大模型ChatGLM2-6B

我的方案是单卡运行到我老电脑上，用Ubuntu跑，反正也不需要跑图形界面，后台运行就好了。

Ubuntu下配置为服务器模式（先在其他有显卡输出的系统上装好，我在一个移动硬盘上安装的）

关掉图形界面，使用ssh登录

我是单卡上架

60元的P106-100显卡，某多买的不包风扇

P106-100显卡。P106-100显卡是一款基于GTX1060核心的显卡，但是其去除了显存的输出，用于挖矿，因此价格相对较低，而性能却相当不错，可以满足大多数人的需求。

我家里有一台x79的矿渣，买了一个矿架子，就上去

冰箱上的矿机

运行安装P106

如果你已经在其他有显卡输出的系统上装好Ubuntu，接下来我们将介绍如何在Ubuntu下安装P106-100显卡的驱动。

步骤1：下载驱动程序

首先，我们需要下载P106-100显卡的驱动程序。你可以选择从NVIDIA官网下载驱动程序，或者考虑使用第三方驱动程序，例如cuda-drivers等。

步骤2：安装驱动程序

下载完成后，我们需要在Ubuntu系统中安装驱动程序。打开终端，输入以下命令来更新软件源列表：

sudo apt-get update

接着，安装NVIDIA的驱动程序。在终端输入以下命令：

sudo apt-get install nvidia-driver-535

这将安装NVIDIA的390版本驱动程序。安装完成后，为使驱动程序生效，我们需要重启系统。输入以下命令：

sudo reboot

步骤3：检查驱动程序是否安装成功

重启系统后，我们需要检查驱动程序是否安装成功。在终端输入以下命令：

nvidia-smi

！

使用fastllm加速展示

默认的模型实在是太慢了，我找到了下面的这个工程，能大大加速运行速度

于是就能快速的跑起来。

https://github.com/ztxz16/fastllm