Orchestrare l'auto-scaling degli endpoint SageMaker AI con AWS CDK
aws ·
L'aggiornamento delle configurazioni degli endpoint in tempo reale di Amazon SageMaker AI tramite AWS CloudFormation o CDK spesso fallisce perché SageMaker richiede la deregistrazione del target scalabile prima di apportare modifiche. Tuttavia, la deregistrazione manuale provoca problemi in cui CloudFormation perde il controllo delle risorse di auto-scaling o lascia gli stack in uno stato non funzionante. Per risolvere questo problema, l'articolo introduce un costrutto CDK riutilizzabile che automatizza il processo di deregistrazione e re-registrazione utilizzando risorse personalizzate. Questa soluzione garantisce che gli aggiornamenti dell'endpoint e le modifiche ai parametri di auto-scaling possano avvenire in una singola distribuzione senza intervento manuale. Il costrutto impiega tre risorse personalizzate con un ordinamento esplicito delle dipendenze: una per deregistrare il target, seguita dall'aggiornamento dell'endpoint e poi da due risorse asincrone per registrare il target e allegare le policy di scaling. Questi componenti asincroni utilizzano un pattern 'waiter' per assicurarsi che l'endpoint sia completamente operativo prima di applicare le regole di scaling. L'implementazione include logica specifica per gestire in modo appropriato le prime distribuzioni e la cancellazione degli stack. Gli utenti possono integrare questo costrutto negli stack esistenti o distribuirlo come esempio standalone dal repository GitHub fornito.
aws