Ajuste del tamaño de los puntos finales de IA generativa mediante barridos de concurrencia en Amazon SageMaker AI
aws ·
Este artículo presenta las barridas de concurrencia como un método sistemático para dimensionar adecuadamente los puntos de conexión de IA generativa en Amazon SageMaker AI, maximizando el rendimiento por precio mientras se mantiene una latencia aceptable. Al enviar niveles controlados y crecientes de tráfico concurrente, los usuarios pueden identificar el punto de saturación del punto de conexión, donde el rendimiento se estabiliza y la latencia aumenta bruscamente. El flujo de trabajo implica implementar modelos utilizando el contenedor nativo vLLM, configurar perfiles de carga y ejecutar pruebas automatizadas mediante la API CreateAIBenchmarkJob. Se analizan métricas clave como el rendimiento, la latencia p99 y el tiempo hasta el primer token para determinar la capacidad óptima y evitar el sobreaprovisionamiento o la degradación del servicio. Para una planificación más avanzada, el artículo describe una receta de búsqueda automática basada en SLA que encuentra eficientemente la concurrencia máxima que cumple con umbrales de rendimiento específicos. Este enfoque reemplaza las suposiciones manuales con decisiones basadas en datos, permitiendo a los equipos dimensionar con confianza sus flotas antes de que llegue el tráfico de producción. El proceso se ilustra mediante una guía paso a paso del modelo NVIDIA Nemotron-3 Nano 30B, demostrando cómo interpretar los resultados y limpiar los recursos posteriormente.
aws