Dimensionar corretamente pontos de extremidade de IA generativa com varreduras de concorrência no Amazon SageMaker AI
aws ·
Este artigo apresenta as varreduras de concorrência (concurrency sweeps) como um método sistemático para dimensionar corretamente endpoints de IA generativa no Amazon SageMaker AI, maximizando o custo-benefício enquanto mantém a latência aceitável. Ao enviar níveis controlados e crescentes de tráfego concorrente, os usuários podem identificar o ponto de saturação do endpoint, onde o throughput se estabiliza e a latência aumenta abruptamente. O fluxo de trabalho envolve implantar modelos usando o contêiner nativo vLLM, configurar perfis de carga e executar benchmarks automatizados por meio da API CreateAIBenchmarkJob. Métricas-chave, como throughput, latência p99 e tempo até o primeiro token, são analisadas para determinar a capacidade ideal e evitar superprovisionamento ou degradação do serviço. Para um planejamento mais avançado, o artigo descreve uma receita de busca automática baseada em SLA que encontra eficientemente a máxima concorrência que atende a limites específicos de desempenho. Essa abordagem substitui adivinhações manuais por decisões baseadas em dados, permitindo que as equipes dimensionem suas frotas com confiança antes que o tráfego de produção chegue. O processo é ilustrado por meio de um tutorial com o modelo NVIDIA Nemotron-3 Nano 30B, demonstrando como interpretar os resultados e limpar os recursos posteriormente.
aws