Granite Switch 4.1: Chat, decisioni e voce da un unico endpoint
huggingface ·
IBM ha rilasciato Granite Switch 4.1, un modello di intelligenza artificiale modulare che integra capacità di chat, processo decisionale e riconoscimento vocale (speech-to-text) in un singolo endpoint ospitato. I nuovi modelli da 8B e 30B utilizzano LoRA attivati efficienti nella cache per passare rapidamente ed efficacemente tra attività come la trascrizione, il riassunto e lo screening di sicurezza. I componenti chiave includono un adattatore Decision a uso generale, un adattatore Guardian specializzato per le attività di sicurezza e il modello ASR Granite-Speech-5.0-Turbo-CTC, attualmente il più veloce sulla classifica OpenASR. Condividendo la KV cache del modello di base, questi adattatori consentono un cambio di attività rapido senza un significativo sovraccarico di VRAM. Il rilascio evidenzia anche la flessibilità delle Granite Libraries, che permettono agli utenti di comporre modelli personalizzati combinando vari adattatori specializzati. Nei test comparativi, il modello Granite-Switch-4.1-30B ha superato i concorrenti nei flussi di lavoro RAG reali e ha dimostrato prestazioni superiori in uno scenario di gioco di Doom rispetto a Jev. IBM prevede di supportare ulteriormente questo ecosistema con un prossimo Adapter SDK per l'addestramento di adattatori personalizzati all'interno del framework Mellea.
huggingface