Presentazione di Amazon SageMaker HyperPod Inference Gateway
aws ·
AWS annuncia Amazon SageMaker HyperPod Inference Gateway, un add-on di routing nativo per Kubernetes e consapevole delle GPU per cluster HyperPod ed EKS esistenti, che non richiede modifiche all’applicazione o al server del modello. La sua architettura a due livelli include un Envoy Gateway, un Body-Based Router per la selezione del modello e un Endpoint Picker che utilizza metriche in tempo reale come l’utilizzo della cache KV, la profondità della coda, la permanenza in memoria degli adattatori LoRA, gli accessi riusciti alla cache dei prefissi e le richieste attive. Il gateway può essere installato come singolo add-on EKS e configurato in modo dichiarativo, offrendo al contempo un endpoint standard compatibile con OpenAI per i client esistenti. Supporta il routing multimodello e indirizza le richieste LoRA ai pod che hanno già caricato l’adattatore richiesto. I benchmark di AWS rispetto al routing round-robin di Kubernetes hanno evidenziato riduzioni sostanziali della latenza di coda del primo token e aumenti del throughput negli scenari con GPU miste, traffico a raffiche e prefissi condivisi, mentre i risultati erano comparabili su fleet uniformi con traffico costante. Il Tier 1 è disponibile nelle regioni che supportano l’add-on di inferenza, mentre il Global Inference Router tra cluster e tra regioni è previsto in una versione futura.
aws