Granite Switch 4.1: Chat, decisões e fala de um único ponto final
huggingface ·
A IBM lançou o Granite Switch 4.1, um modelo de IA modular que combina capacidades de chat, tomada de decisões e conversão de fala em texto em um único ponto de extremidade hospedado. Os novos modelos de 8B e 30B utilizam LoRAs ativados eficientes em termos de cache para alternar entre tarefas como transcrição, resumo e triagem de segurança com alta velocidade e eficiência. Os principais componentes incluem um adaptador de propósito geral para Decisões, um adaptador especializado Guardian para tarefas de segurança e o modelo ASR Granite-Speech-5.0-Turbo-CTC, que atualmente é o mais rápido no ranking OpenASR. Ao compartilhar o cache KV do modelo base, esses adaptadores permitem a troca rápida de tarefas sem sobrecarga significativa de VRAM. O lançamento também destaca a flexibilidade das Bibliotecas Granite, permitindo que os usuários componham modelos personalizados combinando vários adaptadores especializados. Em testes comparativos, o modelo Granite-Switch-4.1-30B superou concorrentes em fluxos de trabalho RAG do mundo real e demonstrou desempenho superior em um cenário de jogo de Doom em comparação ao Jev. A IBM planeja apoiar ainda mais esse ecossistema com um próximo SDK de Adaptadores para treinamento de adaptadores personalizados dentro do framework Mellea.
huggingface