Presentamos Amazon SageMaker HyperPod Inference Gateway
aws ·
AWS anuncia Amazon SageMaker HyperPod Inference Gateway, un complemento de enrutamiento nativo de Kubernetes y consciente de las GPU para clústeres existentes de HyperPod y EKS que no requiere cambios en las aplicaciones ni en los servidores de modelos. Su diseño de dos niveles incluye un Envoy Gateway, un Body-Based Router para la selección de modelos y un Endpoint Picker que utiliza métricas en tiempo real, como la utilización de la caché KV, la profundidad de la cola, la permanencia de adaptadores LoRA, los aciertos de la caché de prefijos y las solicitudes activas. El gateway puede instalarse como un único complemento de EKS y configurarse de forma declarativa, además de exponer un endpoint estándar compatible con OpenAI para los clientes existentes. Admite el enrutamiento entre varios modelos y dirige las solicitudes de LoRA a los pods que ya tienen cargado el adaptador requerido. En las pruebas de AWS frente al enrutamiento round-robin de Kubernetes, se registraron reducciones sustanciales de la latencia de cola del primer token y aumentos del rendimiento en escenarios con GPU mixtas, tráfico en ráfagas y prefijos compartidos, mientras que los resultados fueron comparables en flotas uniformes con tráfico estable. El nivel 1 está disponible en las regiones compatibles con el complemento de inferencia, mientras que el Global Inference Router, para el enrutamiento entre clústeres y entre regiones, está previsto para una versión futura.
aws