什么值得买App

我的兴趣消费指南

什么值得买
连续签到专享现金活动

谷歌Gemma本地化教程-Ollama and Ollama WebUI

24-03-07

前言

谷歌大语言模型Gemma是一个开源模型,利用大语言模型容器Ollama和Open Web UI,可以本地化使用,方便家人朋友无科学上网环境使用。

仓库

GitHub - ollama/ollama: Get up and running with Llama 2, Mistral, Gemma, and other large language models.

GitHub - open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI)

安装windows ollama

  1. 下载安装包。

    https://ollama.com/download

谷歌Gemma本地化教程-Ollama and Ollama WebUI
  1. 直接安装。

  2. 根据自己的显存大小大语言模型。

ollama run gemma:7b ollama run gemma:7b-instruct-fp16

安装Docker 版本 Ollama Web UI

  1. Unraid 应用搜索Ollama,安装。

谷歌Gemma本地化教程-Ollama and Ollama WebUI
  1. 修改IP

谷歌Gemma本地化教程-Ollama and Ollama WebUI
  1. CMD输入,查看11434的端口是否只有127.0.0.1

netstat -ano | findstr 127.0.0.1

  1. 增加系统变量,重点,重点,重点。

谷歌Gemma本地化教程-Ollama and Ollama WebUI

此时Web UI可以本地化使用了。

NPM反向代理

谷歌Gemma本地化教程-Ollama and Ollama WebUI

增加Web UI的IP和端口,强制转发

此时,外网都可以访问。

作者声明本文无利益相关,欢迎值友理性交流,和谐讨论~

评论 9

Yamol用户头像挂件

现在可以本地化的大模型,哪个最强?

江西
MichaelmAI

本地化一般都介绍你的具体用途是什么,有专门写代码的,或者有4090的情况下,用最新最大的

广东
snipergg

不要用,跟gpt3.5还是差点意思

江苏

没有更多了