Mixture-of-Experts-Kernel-Engineering auf Amazon SageMaker AI
aws ·
Dieser Artikel beschreibt Kernel-Engineering-Optimierungen für Mixture-of-Experts-(MoE)-Modelle auf Amazon SageMaker AI, mit Schwerpunkt auf Leistungssteigerungen bei der Inferenz großer Sprachmodelle. Die Autoren stellen drei Schlüsseltechniken vor: Swap-AB-Transposition zur Ausrichtung der Matrixdimensionen an den WGMMA-Hardwareanforderungen von NVIDIA Hopper, Anpassungen im Backend-Routing zur Nutzung von Triton statt CUTLASS für FP8-Quantisierung sowie die Eliminierung unnötiger Triton-JIT-Nekompilierungen zur Reduzierung der Latenz. Diese Optimierungen adressieren spezifische Engpässe in MoE-Architekturen, wie schmale Batch-Größen während des Decodierens und variable Token-Anzahlen. Die Umsetzung dieser Änderungen führte zu einer um bis zu 10 % höheren Durchsatzleistung und einer Verbesserung der Time-to-First-Token (TTFT) um 9 % auf H200-GPUs. Einige dieser Verbesserungen wurden in die Open-Source-Community vLLM übernommen. Die Arbeit zeigt, wie tiefgreifende, hardware-spezifische Abstimmungen die Effizienz bei Modellen mit sparsamer Aktivierung erheblich steigern können.
aws