Amazon SageMaker Inference: обзор запусков с начала 2026 года
aws ·
В публикации AWS рассматриваются 13 возможностей вывода Amazon SageMaker AI, запущенных с начала 2026 года, для управляемых конечных точек и нативного для Kubernetes вывода SageMaker HyperPod. Управляемые конечные точки предназначены для команд, которые хотят поручить AWS управление инфраструктурой и эксплуатацией; среди новых возможностей — рекомендации по выводу, пулы экземпляров с учетом емкости, API, совместимые с OpenAI, кэширование контейнеров, подробная наблюдаемость, передача полезных данных непосредственно в запросах для асинхронного вывода и маршрутизация с учетом префиксов. Нововведения HyperPod включают упрощенный оператор EKS, многоуровневое кэширование KV с интеллектуальной маршрутизацией, захват данных, разделение предварительного заполнения и декодирования, интеграции корпоративного уровня для производительности и безопасности, а также кэширование моделей. В публикации приводятся такие примеры, как сокращение ручного бенчмаркинга с нескольких недель до нескольких часов, уменьшение задержки запуска контейнеров на 51%, сокращение времени до получения первого токена при маршрутизации с учетом префиксов до 77% в протестированных сценариях и ускорение масштабирования HyperPod примерно на 60% благодаря кэшированию моделей. В совокупности эти нововведения решают проблемы развертывания, емкости, задержек, масштабирования, мониторинга, соответствия требованиям и холодного старта на всех этапах жизненного цикла вывода. AWS сообщает, что в будущем намерена углубить интеграцию управляемых конечных точек со своими сервисами ИИ, а также добавить стратегии маршрутизации, поддержку фреймворков обслуживания моделей и многорегиональные сети для HyperPod Inference.
aws