Оптимизация системных подсказок агентов с помощью Amazon Bedrock AgentCore
aws ·
Amazon Bedrock AgentCore представляет новую возможность оптимизации, которая автоматизирует улучшение системных промптов агентов с использованием производственных трасс и сигналов вознаграждения. Этот рабочий процесс позволяет разработчикам предлагать изменения конфигурации, проверять их с помощью офлайн-пакетной оценки и тестировать через онлайн A/B-тестирование перед внедрением. Система включает два дизайна рефлектора: Single Agent Reflector, отличающийся высокой эффективностью и скоростью, и экспериментальный Sub-Agent Reflector, использующий рой агентов для достижения более высокого качества за счет независимого анализа трасс. Оба метода защищены контрольными механизмами (guardrails), предотвращающими разрастание промптов, нарушения безопасности и переобучение на данных трасс. Результаты оценки на бенчмарках AppWorld и WebShop показывают, что Single Agent Reflector обеспечивает наилучшее соотношение качества и стоимости, тогда как Sub-Agent Reflector демонстрирует самые высокие показатели успешности. AWS рекомендует начинать с небольших наборов трасс и включать разнообразные сигналы обратной связи, такие как свободный текст с обоснованием, для улучшения процесса рефлексии. Эти инструменты призваны упростить ручной процесс настройки компонентов агентов, таких как промпты, описания инструментов и навыки.
aws