最近显卡便宜了不少,之前我一直是买A卡的。
但是自从大模型火起来以后,就准备换一张N卡玩。
技术方案,运行清华大模型ChatGLM2-6B
我的方案是单卡运行到我老电脑上,用Ubuntu跑,反正也不需要跑图形界面,后台运行就好了。
Ubuntu下配置为服务器模式(先在其他有显卡输出的系统上装好,我在一个移动硬盘上安装的)
关掉图形界面,使用ssh登录
我是单卡上架

60元的P106-100显卡,某多买的不包风扇

P106-100显卡。P106-100显卡是一款基于GTX1060核心的显卡,但是其去除了显存的输出,用于挖矿,因此价格相对较低,而性能却相当不错,可以满足大多数人的需求。
我家里有一台x79的矿渣,买了一个矿架子,就上去

冰箱上的矿机运行安装P106
如果你已经在其他有显卡输出的系统上装好Ubuntu,接下来我们将介绍如何在Ubuntu下安装P106-100显卡的驱动。
步骤1:下载驱动程序
首先,我们需要下载P106-100显卡的驱动程序。你可以选择从NVIDIA官网下载驱动程序,或者考虑使用第三方驱动程序,例如cuda-drivers等。
步骤2:安装驱动程序
下载完成后,我们需要在Ubuntu系统中安装驱动程序。打开终端,输入以下命令来更新软件源列表:
sudo apt-get update
接着,安装NVIDIA的驱动程序。在终端输入以下命令:
sudo apt-get install nvidia-driver-535
这将安装NVIDIA的390版本驱动程序。安装完成后,为使驱动程序生效,我们需要重启系统。输入以下命令:
sudo reboot
步骤3:检查驱动程序是否安装成功
重启系统后,我们需要检查驱动程序是否安装成功。在终端输入以下命令:
nvidia-smi
!
使用fastllm加速展示
默认的模型实在是太慢了,我找到了下面的这个工程,能大大加速运行速度
于是就能快速的跑起来。
这种古董能行?
算力全靠驱动…
硬核,这样是否不需要核显?
6g是不是会爆显存
这个没核显怎么输出图像?
还需要核显可惜我没有
p106-100只要60块钱吗
我记得GLM支持多卡推理,那如果拿个x99主板然后插个4张p106能不能打2080ti 22g
不是說linux 沒驅動嗎? Linus 那句 "So nivdia, Fxxk you" 都做成動態圖呢.
小黄鱼100整个p104比较好吧,显存大不容易爆
收藏起来。
我买了79带风扇的微信卡
这玩意有核显就能玩游戏性能几乎没损失,而且跑stable diffusion也有1.4左右的基准每秒步数
哈哈,我正好打算这么搞,我有两块P104,还有个双插槽的X79寨板,要不是解决不了P40散热问题(太吵或者太热),就上P40了。
90的卡卖了500多
羡慕下会玩的
不需要cuda?
是从徐州发货吗。
速度有这么快么
试试看
我要搞块卡来玩玩