Amazon SageMaker Inference: retrospectiva dos lançamentos de 2026 até agora
aws ·
A publicação da AWS analisa 13 recursos de inferência do Amazon SageMaker AI lançados até o momento em 2026, abrangendo endpoints gerenciados e o SageMaker HyperPod Inference nativo do Kubernetes. Os endpoints gerenciados são destinados a equipes que querem que a AWS cuide da infraestrutura e das operações, e as novidades incluem recomendações de inferência, pools de instâncias com reconhecimento de capacidade, APIs compatíveis com a OpenAI, armazenamento em cache de contêineres, observabilidade detalhada, payloads incorporados para inferência assíncrona e roteamento com reconhecimento de prefixos. As novidades do HyperPod incluem um operador simplificado para o EKS, cache de KV em camadas com roteamento inteligente, captura de dados, pré-preenchimento e decodificação desagregados, integrações empresariais de desempenho e segurança e cache de modelos. A publicação relata exemplos como a redução do benchmarking manual de semanas para horas, a redução de 51% na latência de inicialização de contêineres, a redução de até 77% no tempo até o primeiro token com roteamento com reconhecimento de prefixos nos cenários testados e a aceleração de cerca de 60% na expansão do HyperPod com o cache de modelos. Em conjunto, os lançamentos abordam desafios de implantação, capacidade, latência, escalabilidade, monitoramento, conformidade e inicialização a frio ao longo de todo o ciclo de vida da inferência. A AWS afirma que os trabalhos futuros aprofundarão a integração com seus serviços de IA para endpoints gerenciados e acrescentarão estratégias de roteamento, suporte a frameworks de serving e redes multirregionais ao HyperPod Inference.
aws