Развертывание моделей принятия решений с llama.cpp в Amazon SageMaker AI
aws ·
В этой статье блога AWS подробно описывается процесс развёртывания моделей принятия решений с использованием llama.cpp в среде Amazon SageMaker AI, предлагая управляемый путь для обслуживания квантованных моделей на инфраструктуре CPU или GPU. Описываются два варианта развёртывания: стандартный маршрут генерации текста с использованием чат-комплитионов, совместимых с OpenAI, и структурированный маршрут принятия решений с применением адаптера SemIf для возврата вероятностей по фиксированным вариантам. В статье объясняется, что стандартный DLC (Docker Container) обслуживает сгенерированные ответы, тогда как расширение SemIf создаёт дочерний образ для доступа к логитам финальной позиции без декодирования токенов ответа. Бенчмарки, сравнивающие модели Qwen3.5-4B, показывают, что эндпоинты на GPU значительно быстрее, чем на CPU, хотя точность остаётся схожей в обеих конфигурациях. Авторы предоставляют пошаговые инструкции по упаковке моделей GGUF, развёртыванию эндпоинтов через CodeBuild и их вызову с использованием конкретных JSON-схем для принятия решений. Рекомендуется использовать CPU для рабочих нагрузок с низкой пропускной способностью и GPU для интерактивных приложений, требующих строгих показателей задержки на хвосте распределения. Наконец, в публикации подчёркивается важность поддержания пороговых значений и механизмов резервного переключения на уровне приложения, а не полагаться исключительно на выводы модели для обеспечения операционной надёжности.
aws