深耕数码、AI兴趣领域
151
30
闲置手机秒变本地大模型服务器，Gemma 4 多模态模型部署实测！
2026-04-23 11:25:33
0点赞
5收藏
0评论
说到在本地跑大语言模型（LLM），大家的固有印象往往是：要么得有张性能强悍的独立显卡，要么至少得是一台内存管够的 Mac Studio。
不过，今天咱们不聊老大黑的主机，而是平时装在口袋里的智能手机。这不，最近就有外国大神实测了搭载了骁龙 8 Elite 处理器和 16GB LPDDR5X 内存的设备（Oppo Find N5）。配合 Google 最新推出的 Gemma 4 E4B 端侧模型，实际体验了一翻本地大模型在手机上运行的效果！
为什么要在手机上跑 Gemma 4？
Google 最新的开源模型家族中，Gemma 4 专门为移动设备推出了 E2B 和 E4B 两个版本。它们不仅是简单的文本模型，更是拥有 128K 上下文窗口的多模态利器（支持文本、图像和音频输入）。
得益于混合注意力设计，它对内存的占用控制得极好。只要你的手机芯片够新、内存够大，不仅推理速度可观，甚至还能完成复杂的“工具调用（Tool Calling）”。
全程手机端本地部署
在手机上部署听起来高深，但只要找对工具，过程其实非常顺畅。全程不需要连接电脑，直接在手机上用 Termux 就能搞定。
第一步：环境准备
从 F-Droid 下载并安装 Termux（注意：千万别用 Google Play 商店里的停更版本）。
在 Termux 中更新基础包，并安装编译所需的依赖：
cmake和git。
第二步：编译 llama.cpp
从 GitHub 的 master 分支克隆
llama.cpp。直接在手机上进行编译。
编译 llama避坑指南：强烈建议从 master 分支编译，而不是使用历史发行版，因为对 Gemma 4 E4B 原生音频编码器的支持是非常近期的更新。
第三步：下载模型与多模态投影器（关键） Gemma 4 E4B 拥有约 40 亿个“有效”参数。要让它的视觉和语音功能正常运作，你不能只下载主模型，还必须下载处理图像和音频编码的多模态投影器（mmproj）。
主模型：大神使用的是 Q4_K_M Unsloth 量化版，大小约 4.3GB。
投影器：下载约 900MB 的 BF16 mmproj。
核心重点：投影器对量化非常敏感！如果你试图运行 Q4 或 Q8 的 mmproj，输出的图像和音频分析绝对是一堆乱码。BF16 虽然会多占一点内存，但在 16GB 的手机上完全不是事儿。
第四步：一键启动 编译和下载完成后，输入以下命令启动本地服务器：
Bash
./build/bin/llama-server
-m /path/to/gemma-4-E4B-Q8_0.gguf
--mmproj /path/to/mmproj-gemma-4-E4B-BF16.gguf
--host 0.0.0.0
--port 8080
-c 8192
将 host 绑定到 0.0.0.0 后，你的手机就会在 8080 端口暴露一个兼容 OpenAI API 的端点。局域网内的任何设备（包括你的智能家居系统），都可以把这台手机当成推理后端了！
启动本地服务器实测体验：速度与多模态能力
1. 文本推理速度：能用，但慢！
在骁龙 8 Elite 的加持下，短文本生成的 Token 速度大约在 7 到 8 tokens/秒，首字延迟不到一秒。虽然比不上桌面级 GPU，但作为基础功能的后端已经具备可玩性了。
测试结果为8.15 tokens/秒更有意思的是 Termux 的后台留存能力。作者把模型挂在后台一整夜，期间它占用了约 6GB 内存，本以为会被安卓的杀后台机制（OOM killer）干掉，结果第二天早上通过局域网调用，它依然坚挺在线。
2. 视觉能力：智能家居的新玩法
相比语音转录，视觉处理才是端侧大模型最吸引人的地方。你可以让手机充当智能家居的“眼睛”。
联动 Home Assistant 玩法： 当监控抓拍到画面时，把图片发送到手机的 API 接口，并附带提示词：“用一句话描述这张图片里的内容”。然后根据模型返回的结果，再向你推送一条精准通知。
性能表现：处理图像比处理文本慢。编码一张小图大约需要 10 秒以上，生成简短描述还需要 10 到 20 秒。
3. 语音转录：原生支持，潜力巨大
Gemma E4B 能够在手机端直接原生处理音频。早期的 batch size bug 现在已经被修复，整体运行相当稳定。
总结
客观地说，手机变身 LLM 服务器，并不能替代云服务或专用服务器。面对超长上下文推理、复杂的 Agent 工作流或者代码编写（比如 Qwen3 Coder Next），专用的桌面端依然是不可逾越的高山。
但是！ 如果现在的手机已经能够稳定输出曾经需要一台笨重电脑才能完成的 AI 算力，谁又能说得准未来的手机不能提供流畅的AI服务呢？
