边缘智算-手把手教你如何在4C4G的香橙派Zero3部署 Gemma4-E2B-Q4 本地模型
本文介绍如何在香橙派Zero3(4C4G配置)上部署Gemma4-E2B-Q4本地大模型。通过Ollama框架进行服务化部署,并将模型文件存储于外接移动硬盘,以释放系统存储空间。整个过程涵盖环境准备、文件下载、服务配置及模型导入四个核心步骤。
01环境准备与文件下载
- 下载Ollama ARM64版本
使用ModelScope下载适配ARM架构的Ollama安装包,版本为v0.20.5。 - 获取GGUF模型文件
下载unsloth/gemma-4-E2B-it-GGUF模型,指定文件为gemma-4-E2B-it-Q4_K_M.gguf,此量化版本适合4GB内存设备。 - 文件传输
通过SCP命令将上述文件传输至香橙派设备。
核心下载命令如下:
| 操作目标 | 命令参考 |
|---|---|
| 下载Ollama | modelscope download --model=Lixiang/ollama-release --revision v0.20.5 --local_dir "$HOME/Downloads" --include "ollama-linux-arm64*" |
| 下载GGUF模型 | modelscope download --model 'unsloth/gemma-4-E2B-it-GGUF' --include 'gemma-4-E2B-it-Q4_K_M.gguf' --local_dir '.' |
02服务配置与运行
为避免与其他设备(如5090显卡机器)的默认端口冲突,需自定义环境变量。同时,将模型存储路径指向外接移动硬盘,以节省本地空间。
- 设置环境变量
配置OLLAMA_HOST为127.0.0.1:22434,配置OLLAMA_MODELS为外接硬盘挂载路径(如/opt/MyModels)。 - 启动服务
运行命令 ollama serve & 启动后台服务进程。
03模型导入与参数优化
在模型目录下创建Modelfile,针对4核CPU配置优化线程数与上下文长度,以平衡响应速度与资源占用。
| 配置项 | 参数值 | 说明 |
|---|---|---|
| FROM | ./gemma-4-E2B-it-Q4_K_M.gguf | 指定基础模型文件 |
| PARAMETER num_thread | 3 | 设置为3,留出1核给系统 |
| PARAMETER num_ctx | 4096 | 上下文窗口大小 |
最后执行 ollama create gemma-4-E2B-it-Q4 -f Modelfile 完成模型的创建与导入,即可在本地调用Gemma4模型。
当前文章无评论,是时候发表评论了