Granite Switch 4.1: Chat, decisiones y voz desde un único punto final
huggingface ·
IBM ha lanzado Granite Switch 4.1, un modelo de IA modular que combina capacidades de chat, toma de decisiones y transcripción de voz a texto en un único punto de acceso alojado. Los nuevos modelos de 8B y 30B utilizan LoRAs activados eficientes en caché para cambiar entre tareas como transcripción, resumen y filtrado de seguridad con alta velocidad y eficiencia. Sus componentes clave incluyen un adaptador de propósito general para la toma de decisiones, un adaptador especializado Guardian para tareas de seguridad y el modelo ASR Granite-Speech-5.0-Turbo-CTC, que actualmente es el más rápido en el ranking OpenASR. Al compartir la caché KV del modelo base, estos adaptadores permiten un cambio rápido de tareas sin una sobrecarga significativa de VRAM. El lanzamiento también destaca la flexibilidad de las Granite Libraries, que permiten a los usuarios componer modelos personalizados combinando diversos adaptadores especializados. En pruebas comparativas, el modelo Granite-Switch-4.1-30B superó a sus competidores en flujos de trabajo RAG del mundo real y demostró un rendimiento superior en un escenario de juego de Doom en comparación con Jev. IBM planea apoyar aún más este ecosistema con un próximo SDK de Adaptadores para entrenar adaptadores personalizados dentro del marco Mellea.
huggingface