EmbeddingGemma 2:一款开源轻量级多模态嵌入模型
deepmind ·
Google DeepMind推出了EmbeddingGemma 2,这是一款专为高效设备端处理而设计的开源多模态嵌入模型。该模型基于拥有7.4亿参数的Gemma架构,原生支持将文本、图像、音频和视频映射到统一的嵌入空间。在参数量低于10亿的模型中,其性能处于领先地位,在显著提升代码理解能力的同时,保持了视觉和音频任务的高质量表现。它具备模块化设计选项,允许开发者针对特定模态(如纯文本负载)使用更少的参数。通过采用套娃表示学习(Matryoshka Representation Learning),该模型实现了动态向量截断,从而降低了内存占用。该模型针对边缘硬件进行了优化,可在Google Pixel 11 Pro等设备上以极低的内存需求运行。凭借8K token的上下文窗口,它能够直接在本地硬件上处理大量媒体数据,无需依赖云端。此次发布支持隐私优先的应用场景,使离线语义搜索和检索增强生成(RAG)流水线成为可能。
deepmind