什么值得买App下载 App ›
连续签到专享现金活动

手机也能跑多模态Embedding了!谷歌开源740M小模型,隐私RAG本地全搞定

手机也能跑多模态Embedding了。10月6日,谷歌正式开源EmbeddingGemma 2,这是业界首个能在设备端运行的原生多模态嵌入模型。文本、代码、图片、视频、音频,一个740M参数的小模型全部拿下。量化后在Pixel 11 Pro上纯文本仅需191MB内存,全模态模式也只要567MB。这意味着什么?隐私敏感的本地RAG管线、离线的跨模态检索,从此不再是服务器专属。1
一个模型,五种模态
EmbeddingGemma 2的核心突破是把五类数据塞进同一个向量空间。猫的照片、文字"cat"、猫叫声,经过模型处理后会落进向量空间中相近的位置,而红色汽车则被推到远处。这种跨模态语义关联能力,以前需要三个独立模型分别处理文本、视觉、音频,现在一个就够了。模块化架构让实际参数量可按需伸缩——纯文本任务只需270M参数,加载视觉编码器变成440M,再加音频编码器才是完整的740M。2
性能指标同样亮眼。代码检索MTEB得分从68.76飙升至78.68,涨幅接近10分;在sub-1B参数规模的多模态嵌入模型中已处于领先位置,部分指标甚至超越体量两倍以上的专项模型。8K token上下文窗口是上一代的4倍,本地直接处理5.5分钟音频、29张图片或58帧视频成为现实,也可以混合输入。3
端侧部署的两个关键设计
能在手机上跑不只是因为参数量小。EmbeddingGemma 2引入了Matryoshka表示学习(MRL)技术,输出向量可从768维动态截断至512、256或128维,本地向量数据库存储最高可缩减6倍。128维截断后多模态分数会明显下滑,但纯文本场景下依然可用,这对内存极度受限的设备是救命设计。4
还有一个坑必须提醒:不要用float16精度运行。模型激活值超出了float16的表示范围,会导致结果变成NaN或悄悄变差,而且不报错。官方明确建议使用bfloat16或float32。2
开发者该怎么用
谷歌专门点名了三个适用场景:本地代码库索引、语义代码搜索、编程智能体检索。代码检索只用到270M的文本部分,效果却能压过体积两倍多的Qwen3-Embedding-0.6B,与4B的pplx-embed-v1持平。隐私敏感的RAG管线也是核心场景——数据全程不离设备,流水线延迟更低,完全离线运行成为可能。5
  • 下载渠道
    模型权重已上线HuggingFace和Kaggle,Apache 2.0许可证,商业友好
    6
  • 部署工具链
    兼容transformers.js、WebGPU浏览器方案,支持Google AI Edge MediaPipe、LiteRT,可与transformers、Ollama、LM Studio无缝对接
    6
  • 联合Gemini使用
    与Gemma 4共享文本tokenizer和音频编码器,架构同源,联合部署可进一步降低内存占用
    6
自查清单:你的场景真的需要端侧Embedding吗?如果数据必须留在本地、设备无法访问云端、或者对响应延迟有严格要求,EmbeddingGemma 2是当前最优解。如果只是追求低成本,量化后的模型也能在消费级显卡上运行——实测8-10GB显存的卡已经能跑得动。7
上一代EmbeddingGemma累计下载已超2000万次,被广泛应用于端侧搜索和隐私优先的RAG管线。多模态能力补全后,能做的事从纯文本检索扩展到语音备忘录定位视频片段、文本查询检索小时级音频录音——这些场景以前只能在云端实现。端侧AI的拼图,又补上了一块关键缺口。3

评论

评论区空态插画

当前文章无评论,是时候发表评论了