EmbeddingGemma 2: ein offenes, leichtgewichtiges multimodales Einbettungsmodell
deepmind ·
Google DeepMind hat EmbeddingGemma 2 veröffentlicht, ein quelloffenes multimodales Embedding-Modell, das für eine effiziente Verarbeitung auf Endgeräten konzipiert ist. Basierend auf der Gemma-4-Architektur mit 740 Millionen Parametern bildet es Text, Bilder, Audio und Video nativ in einem einheitlichen Embedding-Raum ab. Das Modell erzielt führende Leistungen unter den Modellen mit weniger als einer Milliarde Parametern, verbessert das Code-Verständnis erheblich und behält gleichzeitig hohe Qualität bei Aufgaben für Vision und Audio bei. Es bietet modulare Designoptionen, die es Entwicklern ermöglichen, kleinere Parameteranzahlen für spezifische Modalitäten wie textbasierte Workloads zu nutzen. Die Speichereffizienz wird durch Matryoshka Representation Learning erhöht, das eine dynamische Vektorverkürzung für reduzierten Speicherbedarf ermöglicht. Optimiert für Edge-Hardware läuft das Modell auf Geräten wie dem Google Pixel 11 Pro mit minimalen RAM-Anforderungen. Mit einem Kontextfenster von 8.000 Token kann es erhebliche Mengen an Medien direkt auf lokaler Hardware verarbeiten, ohne auf die Cloud angewiesen zu sein. Dieses Release unterstützt datenschutzfreundliche Anwendungen, indem es offline semantische Suche und Retrieval-Augmented-Generation-Pipelines ermöglicht.
deepmind