EmbeddingGemma 2: открытая легкая мультимодальная модель встраивания
deepmind ·
Google DeepMind выпустила EmbeddingGemma 2 — открытую мультимодальную модель встраиваний, предназначенную для эффективной обработки на устройствах. Построенная на архитектуре Gemma 4 с 740 миллионами параметров, она нативно отображает текст, изображения, аудио и видео в единое пространство встраиваний. Модель демонстрирует ведущие результаты среди моделей с количеством параметров менее 1 млрд, значительно улучшая понимание кода при сохранении высокого качества выполнения задач компьютерного зрения и обработки аудио. Она предлагает модульные варианты конфигурации, позволяя разработчикам использовать меньшее количество параметров для специфических модальностей, таких как задачи только с текстом. Эффективность хранения данных повышена за счет обучения матрёшечным представлениям (Matryoshka Representation Learning), что обеспечивает динамическое усечение векторов для снижения потребления памяти. Оптимизированная для работы на периферийном оборудовании, модель запускается на таких устройствах, как Google Pixel 11 Pro, требуя минимального объема оперативной памяти. Благодаря контекстному окну в 8 тысяч токенов она способна обрабатывать значительные объемы медиа непосредственно на локальном оборудовании без зависимости от облачных сервисов. Этот релиз поддерживает приложения с приоритетом конфиденциальности, обеспечивая возможность офлайн-семантического поиска и конвейеров генерации с дополнением на основе извлеченных данных.
deepmind