Granite Switch 4.1: Chat, Entscheidungen und Sprache von einem Endpunkt
huggingface ·
IBM hat Granite Switch 4.1 veröffentlicht, ein modulares KI-Modell, das Chat-, Entscheidungsfindungs- und Speech-to-Text-Funktionen in einem einzigen gehosteten Endpunkt kombiniert. Die neuen Modelle mit 8B und 30B Parametern nutzen cache-effiziente Activated LoRAs, um Aufgaben wie Transkription, Zusammenfassung und Sicherheitsüberprüfung mit hoher Geschwindigkeit und Effizienz zu wechseln. Zu den Kernkomponenten gehören ein allgemeiner Decision-Adapter, ein spezialisierter Guardian-Adapter für Sicherheitstasks sowie das ASR-Modell Granite-Speech-5.0-Turbo-CTC, das derzeit das schnellste auf der OpenASR-Leaderboard ist. Durch die gemeinsame Nutzung des KV-Caches des Basismodells ermöglichen diese Adapter einen schnellen Aufgabenwechsel ohne signifikanten zusätzlichen VRAM-Overhead. Die Veröffentlichung unterstreicht auch die Flexibilität der Granite Libraries, die es Nutzern ermöglicht, benutzerdefinierte Modelle durch das Mischen und Kombinieren verschiedener spezialisierter Adapter zusammenzustellen. In Vergleichstests übertraf das Modell Granite-Switch-4.1-30B Konkurrenten in realen RAG-Workflows und zeigte im Vergleich zu Jev eine überlegene Leistung in einer Doom-Spiel-Szenario. IBM plant, dieses Ökosystem künftig mit einem kommenden Adapter SDK zur Schulung benutzerdefinierter Adapter innerhalb des Mellea-Frameworks weiter zu unterstützen.
huggingface