UNRAID篇!Ollama本地也能运行大模型
该篇教程主要讲解Ollama的安装和简单使用
Ollama:
在本地启动并运行大型语言模型。
![UNRAID篇!Ollama本地也能运行大模型](https://am.zdmimg.com/202405/26/6652ce2e965e83515.png_e1080.jpg)
主要流程目录:
1.安装
2.使用
2.1.下载模型
2.2.简单使用
2.3.中文模型
2.4.Llama中文社区
3.总结
1.安装
创建一个容器
![UNRAID篇!Ollama本地也能运行大模型](https://am.zdmimg.com/202405/26/6652ce2e2e02b3515.jpg_e1080.jpg)
切换”高级视图“
![UNRAID篇!Ollama本地也能运行大模型](https://am.zdmimg.com/202405/26/6652ce2eb50f43515.jpg_e1080.jpg)
参考填写
ollamao
llama/ollama:latest
http://[IP]:[PORT:11434]/
Tip:
上面配置是纯CPU运行,如果要使用GPU(Nvidia/AMD)自行看文档
https://hub.docker.com/r/ollama/ollama
添加其他参数
![UNRAID篇!Ollama本地也能运行大模型](https://am.zdmimg.com/202405/26/6652ce2e9b2983515.jpg_e1080.jpg)
/root/.ollama
/mnt/user/appdata/ollama
![UNRAID篇!Ollama本地也能运行大模型](https://am.zdmimg.com/202405/26/6652ce2f9ec944877.png_e1080.jpg)
11434
11434
![UNRAID篇!Ollama本地也能运行大模型](https://qnam.smzdm.com/202405/26/6652ce2f272914877.png_e1080.jpg)
2.使用
上面部署的这个只是一个框架,还需要下载模型才可以运行。如果需要美观的UI界面,还需要另外安装其他应用配合。
2.1.下载模型
来到官网,点击右上角"Model",下载模型
![UNRAID篇!Ollama本地也能运行大模型](https://qnam.smzdm.com/202405/26/6652ce2ed2d0a3515.png_e1080.jpg)
点击可以进行排序,这里我选择llama3
![UNRAID篇!Ollama本地也能运行大模型](https://qnam.smzdm.com/202405/26/6652ce2f38dad4877.png_e1080.jpg)
Tip:
- 7b 大小的模型通常至少需要 8GB RAM
- 13b 大小的模型通常至少需要 16GB RAM
- 33b 大小的模型通常至少需要 32GB RAM
- 70b 大小的模型通常需要至少 64GB RAM
可以选择模型大小进行下载,复制右侧代码(不指定大小默认是8B)
![UNRAID篇!Ollama本地也能运行大模型](https://qnam.smzdm.com/202405/26/6652ce2fb8c3e4877.png_e1080.jpg)
打开ollama的控制台
![UNRAID篇!Ollama本地也能运行大模型](https://qnam.smzdm.com/202405/26/6652ce2f5e84c4877.png_e1080.jpg)
Tip:
一定要保证网络通畅,还有一定不要关闭弹窗不然就看不到进度了
拉取llama3模型
模型下载完成
![UNRAID篇!Ollama本地也能运行大模型](https://am.zdmimg.com/202405/26/6652ce2ffd7e44877.png_e1080.jpg)
2.2.简单使用
因为没有UI界面,所以还是在这个控制台界面操作
列出模型
前面部分就是名称了(只有一个版本的话,可以不用后面版本)
![UNRAID篇!Ollama本地也能运行大模型](https://qnam.smzdm.com/202405/26/6652ce2eafc7f3515.png_e1080.jpg)
运行模型
可以直接输入问题,回车确认
![UNRAID篇!Ollama本地也能运行大模型](https://am.zdmimg.com/202405/26/6652ce2fa53614877.png_e1080.jpg)
中文也是没问题的
![UNRAID篇!Ollama本地也能运行大模型](https://am.zdmimg.com/202405/26/6652ce2f1523e4877.png_e1080.jpg)
2.3.中文模型
虽然一般的模型都可以中文问答,但是有时候还是会出现英文回复现象。所以我建议是可以直接用中文微调的模型,这样比较省事。
拉取中文模型(拉取一个就行了,这里我是拉取Llama3的)
Llama3中文微调模型:
ollama pull llamafamily/llama3-chinese-8b-instruct
Llama2中文预训练模型:
ollama pull llamafamily/atom-7b-chat
运行效果
![UNRAID篇!Ollama本地也能运行大模型](https://am.zdmimg.com/202405/26/6652ce2f24ca84877.png_e1080.jpg)
Tip:
删除模型(如果前面下载的模型不想要了,可以删除)
2.4.Llama中文社区
这里属于扩展部分,简单介绍Llama中文社区
Llama中文社区(GitHub),上面相关教程还是很多很全面的,也可以下载中文相关的模型。
https://github.com/LlamaFamily/Llama-Chinese
![UNRAID篇!Ollama本地也能运行大模型](https://qnam.smzdm.com/202405/26/6652ce2f622054877.png_e1080.jpg)
Llama中文社区(官网),很有意思的网站,建议自行挖宝
![UNRAID篇!Ollama本地也能运行大模型](https://am.zdmimg.com/202405/26/6652ce2f1d1ea4877.png_e1080.jpg)
3.总结
部署和使用其实还是很方便的,没有遇到什么问题,小白也可以轻松上手。本地部署大模型的好处就是不需要联网,数据相当比较安全。虽然运行模型对设备要求不算太高,但想要有一个比较好的体验还是需要性能好一点。
上面测试用的是QNCT(6C12T,而且当时还运行其他占用资源比较多的应用),下面这段话回复大概用了57秒左右
![UNRAID篇!Ollama本地也能运行大模型](https://qnam.smzdm.com/202405/26/6652ce2e457583515.png_e1080.jpg)
需要内存还是比较大的,会随着使用增多
没有加载模型前
![UNRAID篇!Ollama本地也能运行大模型](https://am.zdmimg.com/202405/26/6652ce2f9b9ac4877.png_e1080.jpg)
加载模型以后
![UNRAID篇!Ollama本地也能运行大模型](https://am.zdmimg.com/202405/26/6652ce2f620ed4877.png_e1080.jpg)
回复问题时
![UNRAID篇!Ollama本地也能运行大模型](https://qnam.smzdm.com/202405/26/6652ce2ff0fb84877.png_e1080.jpg)
作者声明本文无利益相关,欢迎值友理性交流,和谐讨论~
![](https://res.smzdm.com/pc/pc_shequ/dist/img/the-end.png)
Yamol
校验提示文案
AI小值-电脑数码
校验提示文案
AI小值-电脑数码
校验提示文案
Yamol
校验提示文案