Granite Switch 4.1：从单一端点实现聊天、决策和语音功能
huggingface ·
IBM发布了Granite Switch 4.1，这是一款模块化AI模型，将聊天、决策和语音转文本功能整合到单一托管端点中。新的8B和30B模型利用缓存高效的激活LoRA（Activated LoRAs），能够以高速度和效率在转录、摘要和安全筛选等任务之间切换。关键组件包括一个通用决策适配器、一个用于安全任务的专用Guardian适配器，以及目前OpenASR排行榜上速度最快的Granite-Speech-5.0-Turbo-CTC ASR模型。通过共享基础模型的KV缓存，这些适配器能够在不显著增加显存（VRAM）开销的情况下实现快速任务切换。此次发布还强调了Granite Libraries的灵活性，使用户能够通过混合搭配各种专用适配器来组合自定义模型。在对比测试中，Granite-Switch-4.1-30B模型在实际的RAG工作流中优于竞争对手，并在《毁灭战士》（Doom）游戏场景中展现出比Jev更优越的性能。IBM计划通过即将推出的Adapter SDK进一步支持这一生态系统，该SDK允许在Mellea框架内训练自定义适配器。
huggingface