Multi-Node-Inferenzworkloads mit Ray LLM Deep Learning Containers ausführen
aws ·
Dieser Artikel zeigt, wie große Sprachmodelle über mehrere GPU-Knoten hinweg in Amazon EKS mit den neuen Ray LLM Deep Learning Containers bereitgestellt werden. Die Lösung implementiert eine Disaggregation von Prefill und Decode, wobei ein Knoten die Prompt-Verarbeitung übernimmt und ein anderer Token generiert, wodurch Ressourcenkonflikte zwischen rechenintensiven und speichergebundenen Phasen vermieden werden. AWS stellt ein vorgefertigtes Container-Image zur Verfügung, das vLLM, Ray Serve, NIXL für den Cache-Transfer sowie den Elastic Fabric Adapter-Stapel enthält, was die Notwendigkeit von benutzerdefiniertem Boilerplate-Code oder manuellem Abhängigkeitsmanagement eliminiert. Die Bereitstellungsarchitektur nutzt einen CPU-Head-Knoten für die Orchestrierung und zwei GPU-Worker-Knoten, die an eine einzige Verfügbarkeitszone gebunden sind, um eine latenzarme Kommunikation über EFA zu gewährleisten. Die Konfiguration wird durch einen YAML-basierten Application Builder vereinfacht, der den KV-Cache-Transfer automatisch hinter einem OpenAI-kompatiblen Endpunkt verdrahtet. Der Leitfaden beschreibt schrittweise das Provisioning des EKS-Clusters, die Installation des KubeRay-Operators und die Bereitstellung des RayService mit spezifischen Modellparametern. Abschließend werden Anweisungen zum Aufrufen des Endpunkts, Überprüfen der EFA-Nutzung und Bereinigen der Ressourcen gegeben, um laufende Kosten zu vermeiden.
aws