Многошаговое обучение с подкреплением в Amazon SageMaker AI: практическое руководство
aws ·
В данной статье представлен практический руководство по внедрению многошагового обучения с подкреплением (MTRL) в Amazon SageMaker AI для обучения моделей, выполняющих задачи агентов. В отличие от контролируемой тонкой настройки, MTRL оптимизирует модели на основе конечного результата многоэтапных последовательностей, а не отдельных запросов. Авторы демонстрируют этот подход на примере игры Wordle, развернутой в среде Amazon Bedrock AgentCore, где агент взаимодействует с моделью политики и получает единую награду по завершении. В ходе эксперимента точность решения задач моделью GPT-OSS-20B при настройках, имитирующих реальную эксплуатацию, выросла с 61% до 84% при стоимости токенов около 339 долларов США. Руководство подробно описывает весь конвейер, включая настройку ролей IAM, развертывание агента, подготовку данных и мониторинг с помощью MLflow. Также подчеркиваются ключевые уроки проектирования, такие как структурирование наград с приоритетом конечных результатов над промежуточным формированием поведения и управление проблемами конкурентности. Наконец, авторы акцентируют внимание на необходимости оценки моделей при фактических параметрах эксплуатации во избежание получения вводящих в заблуждение метрик валидации.
aws