Granite Switch 4.1: Чат, принятие решений и речь с одного конечной точки
huggingface ·
IBM выпустила Granite Switch 4.1 — модульную ИИ-модель, объединяющую возможности чата, принятия решений и распознавания речи в одном хостинговом эндпоинте. Новые модели на 8B и 30B параметров используют кэш-эффективные активированные LoRA для быстрого и эффективного переключения между задачами, такими как транскрипция, суммаризация и проверка безопасности. Ключевые компоненты включают универсальный адаптер Decision, специализированный адаптер Guardian для задач безопасности и модель ASR Granite-Speech-5.0-Turbo-CTC, которая на данный момент является самой быстрой в рейтинге OpenASR. За счет общего использования KV-кэша базовой модели эти адаптеры обеспечивают быстрое переключение задач без значительной дополнительной нагрузки на VRAM. В релизе также подчеркивается гибкость библиотек Granite, позволяющая пользователям создавать пользовательские модели путем комбинирования различных специализированных адаптеров. В сравнительных тестах модель Granite-Switch-4.1-30B превзошла конкурентов в реальных рабочих процессах RAG и продемонстрировала превосходные результаты в сценарии игры Doom по сравнению с Jev. IBM планирует расширить поддержку этой экосистемы с помощью предстоящего SDK адаптеров для обучения пользовательских адаптеров в рамках фреймворка Mellea.
huggingface