Nas本地部署大语言模型

该篇教程主要讲解Serge的安装和简单使用

Serge：基于llama.cpp运行Alpaca模型的聊天界面。完全自托管，不需要API密钥。适用于4GB的RAM，可在CPU上运行。

• 主要流程目录：

• 1.安装

• 2.使用

• 3.总结

1.安装

先创建一个容器

进入高级视图进行编辑

参考填写

serge

ghcr.io/nsarrazin/serge:latest

http://[IP]:[PORT:8008]

添加其他参数

8008

8008

/usr/src/app/weights

/mnt/user/appdata/serge/weights

/data/db

/mnt/user/appdata/serge/db

2.使用

测试设备：CPU：QTB0

主板：ASRock Z490M-ITX/ac

内存：32G

启动后的界面

首先需要下载模型

提供模型还是很多的

每个模型后面都有标注“xxB”，根据自己设备配置下载模型（不建议下载30B的，回复速度太慢了，影响体验）。

7B 需要大约4.5GB的可用RAM

13B 需要大约12GB的可用RAM

30B 需要大约20GB的可用RAM

这里我下载GPT4All（看大小应该需要内存不是太多）

这样就表示下载完成（不要点击，那个按钮是删除）

返回home页面

这里可用选择模型和进行设置（不会设置，这里默认就行）

开始聊天

GPT4All：

回复速度大概要20s左右

和chatgpt没法比，对中文理解很差，也不能回复中文内容

OAsst-LLaMA-13B：

回复速度大概要30s左右

可以回复中文，但是依然有些怪异，回答很简略，上下文理解不行

Chat with Vicuna-7B：

回复速度大概要20s左右

可以中文提问和回复，上下文理解还行，就是不太聪明

Chat with Alpaca-30B：

太慢了，并且回复断断续续，以为回复完了等等又多几个字，不建议下载

3.总结

个人部署体验玩玩还是不错的，如果想作为生产力工具就不建议了。先不说回复速度比较慢和需要内存大问题，就上下文理解和回答质量都是和ChatGPT没法比的。

资源占用情况回答问题时，CPU占用会比较多

待机时，内存占用会比较大

作者声明本文无利益相关，欢迎值友理性交流，和谐讨论～