你手机相册里躺着几千张照片、几百段视频、一堆语音备忘录。想找那张写着取件码的快递截图,能翻到你怀疑人生。这个麻烦,刚被一个"小东西"接住了。
10月6日,谷歌开源了多模态嵌入模型 EmbeddingGemma 2。一句话说清它是干嘛的:文字、图片、视频、音频、代码,全部翻译成同一张"坐标地图"上的点,意思相近,位置就挨着。你打几个字,它就能在你手机本地把对应的照片、视频片段甚至录音翻出来,全程不用联网,资料也不用上传云端。知乎谷歌官方博客微博知乎

它有多小?总参数7.4亿,拆成三块积木:文本2.7亿、视觉1.7亿、音频3亿,要装哪几块随你挑。谷歌给的数字是,在 Pixel 11 Pro 上只搜文字时占191MB内存,五种模态全加载也才567MB——小到网友调侃"比我微信缓存还小"。别看个头小,它一口气能吃下5.5分钟音频、29张图片或58帧视频,上下文是上一代的4倍。知乎知乎微博
为什么值得盯?上一代 EmbeddingGemma 只认文字,搜照片得先给照片配文字说明,还得另请视觉、音频模型,三套向量根本没法放进一个列表里排序。这一代把五种模态压进同一个768维向量空间,打字就能直接搜出图。再配上共享词表和音频编码器的 Gemma 4,就能在设备端做 RAG:小模型从你的本地文件里找出相关内容,大模型读完再回答。合同、病历这类不想上云的东西,全程留在设备里。知乎知乎微博知乎

跑分这边,谷歌称它是同体量最强,还超过了一些比它大一倍多的模型。代码检索从上一代的68.76分涨到78.68分,多语言文本基本持平(61.36对61.15),只有音频检索输给了 Jina 的 omni-nano——但人家是非商用许可。真正稀缺的是许可:EmbeddingGemma 2 用 Apache 2.0 发布、允许免费商用,目前10亿参数以内、五种模态全覆盖、还能放心商用的开源嵌入模型,基本只有它这一个。微博知乎知乎谷歌官方博客

中文实际表现呢?博主"AI信息Gap"做了实测:24张照片,23次第一个结果就对——搜"我家主子在电脑上睡着了",跳出趴在键盘上的猫;搜"G1234",找到高铁票截图;连没转成文字的语音备忘录都能搜出来。但耳朵还不行:用中文语音找图,6次只对了1次。开发者圈这几天的实测也大同小异:一位土耳其开发者拿它搜本地笔记,正确笔记的命中率从关键词匹配的15%变成97%,单次查询约50毫秒,全程本地。知乎知乎

上手路径也是现成的。手机端下载谷歌官方 App Google AI Edge Gallery,新增的"即时媒体搜索"用一句话或一张图搜相册、边打字边出结果,"视频时刻查找"能在本地视频里定位你说的那一幕。懒得装应用,Hugging Face 有网页演示;开发者一行 `ollama pull embeddinggemma-2` 就能跑。电脑端谷歌这次还基于它发布了完全端侧的 AI Edge Foresight,个人知识库里的音频、文字记录和敏感文件可以做到完全本地处理、按需检索分类。不过给开发者提三个醒:别用 float16,会静默产出坏向量;查询和文档的任务前缀不能省;降维之后要重新归一化。知乎知乎知乎

端侧多模态,上周之前还是论文里的词;这周,它是你手机里一个能搜全家照片的图标。