什么值得买App下载 App ›
连续签到专享现金活动

60块钱P106矿卡玩本地的ChatGPT

23-07-22

最近显卡便宜了不少,之前我一直是买A卡的。

但是自从大模型火起来以后,就准备换一张N卡玩。

技术方案,运行清华大模型ChatGLM2-6B

我的方案是单卡运行到我老电脑上,用Ubuntu跑,反正也不需要跑图形界面,后台运行就好了。

Ubuntu下配置为服务器模式(先在其他有显卡输出的系统上装好,我在一个移动硬盘上安装的)

关掉图形界面,使用ssh登录

我是单卡上架

60块钱P106矿卡玩本地的ChatGPT

60元的P106-100显卡,某多买的不包风扇

60块钱P106矿卡玩本地的ChatGPT

P106-100显卡。P106-100显卡是一款基于GTX1060核心的显卡,但是其去除了显存的输出,用于挖矿,因此价格相对较低,而性能却相当不错,可以满足大多数人的需求。

我家里有一台x79的矿渣,买了一个矿架子,就上去

60块钱P106矿卡玩本地的ChatGPT冰箱上的矿机冰箱上的矿机

运行安装P106

如果你已经在其他有显卡输出的系统上装好Ubuntu,接下来我们将介绍如何在Ubuntu下安装P106-100显卡的驱动。

步骤1:下载驱动程序

首先,我们需要下载P106-100显卡的驱动程序。你可以选择从NVIDIA官网下载驱动程序,或者考虑使用第三方驱动程序,例如cuda-drivers等。

步骤2:安装驱动程序

下载完成后,我们需要在Ubuntu系统中安装驱动程序。打开终端,输入以下命令来更新软件源列表:

sudo apt-get update

接着,安装NVIDIA的驱动程序。在终端输入以下命令:

sudo apt-get install nvidia-driver-535

这将安装NVIDIA的390版本驱动程序。安装完成后,为使驱动程序生效,我们需要重启系统。输入以下命令:

sudo reboot

步骤3:检查驱动程序是否安装成功

重启系统后,我们需要检查驱动程序是否安装成功。在终端输入以下命令:

nvidia-smi

!

使用fastllm加速展示

默认的模型实在是太慢了,我找到了下面的这个工程,能大大加速运行速度

于是就能快速的跑起来。

https://github.com/ztxz16/fastllm

评论 52

nn1337

这种古董能行? [狂汗] 算力全靠驱动…

山东
丢爸爸

开源超级卷,优化的非常好了

北京
Daniel_Lv

硬核,这样是否不需要核显?

广东
两岸猿声啼不住

这个没核显怎么输出图像?

山东
丢爸爸

远程连接就行,这条电脑是不需要显示的。和使用云服务器类似。 开始安装的时候我是在别的主机上装好系统,然后再插到这台主机的。 本来P106当年挖矿的时候,也不需要有显卡,只是还原了当年挖矿显存。

北京
JeckChen

我记得GLM支持多卡推理,那如果拿个x99主板然后插个4张p106能不能打2080ti 22g [口水]

安徽
值友9869153303

不是說linux 沒驅動嗎? Linus 那句 "So nivdia, Fxxk you" 都做成動態圖呢.

中国香港
motorbottle

这玩意有核显就能玩游戏性能几乎没损失,而且跑stable diffusion也有1.4左右的基准每秒步数

广东
猫皮

哈哈,我正好打算这么搞,我有两块P104,还有个双插槽的X79寨板,要不是解决不了P40散热问题(太吵或者太热),就上P40了。

广东
迅雪

不需要cuda?

北京
布吶呐

是从徐州发货吗。

江苏
alston88

试试看

江苏
龙腾风云用户头像挂件

我要搞块卡来玩玩

广西