谷歌Gemma本地化教程-Ollama and Ollama WebUI

前言

谷歌大语言模型Gemma是一个开源模型，利用大语言模型容器Ollama和Open Web UI，可以本地化使用，方便家人朋友无科学上网环境使用。

仓库

GitHub - ollama/ollama: Get up and running with Llama 2, Mistral, Gemma, and other large language models.

GitHub - open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI)

安装windows ollama

1. 下载安装包。

   https://ollama.com/download

2. 直接安装。

3. 根据自己的显存大小大语言模型。

ollama run gemma:7b ollama run gemma:7b-instruct-fp16

安装Docker 版本 Ollama Web UI

1. Unraid 应用搜索Ollama，安装。

1. 修改IP

1. CMD输入，查看11434的端口是否只有127.0.0.1

netstat -ano | findstr 127.0.0.1

1. 增加系统变量，重点，重点，重点。

此时Web UI可以本地化使用了。

NPM反向代理

增加Web UI的IP和端口，强制转发

此时，外网都可以访问。

作者声明本文无利益相关，欢迎值友理性交流，和谐讨论～