Apresentando o Amazon SageMaker HyperPod Inference Gateway
aws ·
A AWS anuncia o Amazon SageMaker HyperPod Inference Gateway, um complemento de roteamento nativo do Kubernetes e com suporte a GPUs para clusters HyperPod e EKS existentes, que não exige alterações na aplicação nem no servidor de modelos. Seu design de duas camadas inclui um Envoy Gateway, um Body-Based Router para a seleção de modelos e um Endpoint Picker que utiliza métricas em tempo real, como utilização do cache KV, profundidade da fila, presença de adaptadores LoRA, acertos no cache de prefixos e solicitações ativas. O gateway pode ser instalado como um único complemento do EKS e configurado de forma declarativa, além de expor um endpoint padrão compatível com a OpenAI para clientes existentes. Ele oferece suporte ao roteamento de vários modelos e direciona solicitações LoRA para pods que já tenham carregado o adaptador necessário. Nos benchmarks da AWS em comparação com o roteamento round-robin do Kubernetes, foram registradas reduções substanciais na latência de cauda do primeiro token e ganhos de throughput em cenários com GPUs mistas, tráfego em rajadas e prefixos compartilhados, enquanto os resultados foram comparáveis em frotas uniformes sob tráfego constante. A Camada 1 está disponível nas regiões que oferecem suporte ao complemento de inferência, enquanto o Global Inference Router entre clusters e regiões está planejado para uma versão futura.
aws