GPU-Cluster mit Isolation und Fairness zwischen Teams mit Amazon SageMaker HyperPod teilen
aws ·
Dieser Artikel stellt eine Referenzarchitektur vor, die es mehreren Teams ermöglicht, Amazon SageMaker HyperPod EKS-Cluster gemeinsam zu nutzen, während strikte Isolation und Fairness gewahrt bleiben. Es wird AWS IAM Identity Center für die zentralisierte Authentifizierung genutzt, wobei eine Verbindung zu externen Anbietern wie Microsoft Entra ID hergestellt wird, um Benutzeridentitäten sicher zu verwalten. Die Autorisierung erfolgt über pro-Team-SageMaker-AI-Domains und Kubernetes-Namensräume, wodurch sichergestellt wird, dass die Workloads jedes Teams im Cluster logisch voneinander getrennt sind. HyperPod Task Governance spielt dabei eine entscheidende Rolle, da sie Rechenquoten und Priorisierungen beim Scheduling durchsetzt, um Ressourcenmonopolisierung zu verhindern und einen fairen Zugang zwischen konkurrierenden Teams zu gewährleisten. Die Architektur integriert zudem Netzwerkrichtlinien und POSIX-konforme Dateisysteme, um Daten und Verkehr weiter zwischen den Teams zu isolieren. Für die finanzielle Rechenschaftspflicht wird Kubecost eingebunden, um eine kostenbezogene Zuordnung auf Namensraumebene bereitzustellen, was es Organisationen ermöglicht, die GPU-Nutzung genau zu verfolgen und zurückzuabrechnen. Dieser umfassende Ansatz ermöglicht es verschiedenen Gruppen, wie Data-Science- und Forschungsteams, effizient an teurer gemeinsamer Hardware zusammenzuarbeiten, ohne Sicherheit oder operative Unabhängigkeit zu beeinträchtigen.
aws