什么值得买App下载 App ›
连续签到专享现金活动

谷歌首发多模态嵌入模型 游戏公司的技术债有救了?谷歌发布 Gemini Embedding 2,能够直接标注音频图片和视频数据 #AI #AIGC #Gemini #谷歌

3月11日,谷歌发布了旗下首个多模态embedding模型——Gemini Embedding 2。该模型能够将文字、图片、音频等信息映射到统一的数据库中。为了理解这一模型的重要性,首先需要明确embedding的定义:它是向大语言模型输入信息的唯一手段,通过将词组转化为向量,使AI能够理解词语间的近似性。此前,大模型主要依赖文本embedding,但在处理非文本内容时存在局限性。
01技术背景:从单模态到多模态的演变
传统embedding技术主要针对文本数据进行处理。当大模型需要处理音频、图片或视频内容时,必须先将这些非文本信息转化为文字,再进行embedding。这一过程容易导致信息丢失,例如录音转文字时会丢失音调和语气信息。
02模型核心功能:直接映射多模态信息
  • 音频数据处理
    直接将音频的频谱转化为向量,保留原始音频特征。
  • 图片数据处理
    直接理解图片的颜色和视觉信息进行向量化。
  • 视频数据处理
    将视频切分为帧画面并配合音频片段,直接转化为向量。
03相比旧方案的优势:减少信息丢失
对比维度传统方案(Text-based Embedding)Gemini Embedding 2(Multimodal Embedding)
处理流程需先将非文本内容转化为文字,再进行向量化直接将音频、图片、视频转化为向量
信息保留易丢失音调、语气等非文本信息保留频谱、颜色、画面等原始特征
理解能力仅能通过文本标签关联内容能直接关联不同模态下的相似内容(如声音与图片)

新旧Embedding方案对比

04游戏行业应用案例:数据打通与QA测试
游戏开发是一个涉及代码、原话、3D模型、配音和音效的海量数据生产与重组过程。以往这些数据分散存储在不同部门和系统中。Gemini Embedding 2通过多模态数据统一的向量标注,打通了不同形态的数据壁垒。
  1. 数据关联示例
    大模型能够识别伊利丹怒风的台词录音与其副本截图、角色形象在数学上是近似的,实现跨模态检索。
  2. QA测试优化
    未来在游戏测试中,只需返回一段10秒的游戏报错画面,AI即可定位到出问题的具体代码位置,大幅提升排查效率。
05可用性说明
目前,Gemini Embedding 2已在Gemini API和Vertex AI中开启公开预览。该模型在数据打标签的效率和结果上已表现出超越人类的能力,为解决游戏等行业的技术债提供了新的技术路径。

评论

评论区空态插画

当前文章无评论,是时候发表评论了