Granite Switch 4.1 : Chat, décisions et parole depuis un seul point de terminaison
huggingface ·
IBM a publié Granite Switch 4.1, un modèle d'IA modulaire qui intègre des capacités de chat, de prise de décision et de transcription en une seule endpoint hébergée. Les nouveaux modèles de 8 milliards et 30 milliards de paramètres utilisent des LoRAs activés efficaces en termes de cache pour basculer rapidement et efficacement entre des tâches telles que la transcription, le résumé et le filtrage de sécurité. Les composants clés incluent un adaptateur Decision à usage général, un adaptateur Guardian spécialisé pour les tâches de sécurité, et le modèle ASR Granite-Speech-5.0-Turbo-CTC, qui est actuellement le plus rapide sur le leaderboard OpenASR. En partageant le cache KV du modèle de base, ces adaptateurs permettent un changement de tâche rapide sans surcharge significative en VRAM. La sortie met également en avant la flexibilité des Granite Libraries, permettant aux utilisateurs de composer des modèles personnalisés en combinant divers adaptateurs spécialisés. Lors de tests comparatifs, le modèle Granite-Switch-4.1-30B a surpassé ses concurrents dans des workflows RAG réels et a démontré des performances supérieures dans un scénario de jeu de Doom par rapport à Jev. IBM prévoit de soutenir davantage cet écosystème avec un Adapter SDK à venir pour former des adaptateurs personnalisés au sein du framework Mellea.
huggingface