День сурка для ИИ-агентов: паттерны кэширования промптов для моделей OpenAI в Amazon Bedrock
aws ·
В этой статье объясняется, как кэширование промптов в Amazon Bedrock решает проблему неэффективности ИИ-агентов, которые повторно обрабатывают всю историю разговора — ситуацию, сравниваемую с фильмом «День сурка». Сохраняя начальные системные инструкции и определения инструментов, сервис позволяет переиспользовать этот статический контекст для последующих запросов по значительно сниженной стоимости. В руководстве описаны два основных метода: неявное кэширование, которое автоматически управляет растущей историей диалога, и явное кэширование, использующее точки останова для определения переиспользуемых префиксов для общего контента, такого как инструменты и политики. Рекомендуемые практики включают стабильность начального промпта, использование явных маркеров для статических элементов при одновременном применении неявного управления для динамических шагов, а также предварительное заполнение кэшей перед запуском субагентов или новых сессий. Тестирование показало, что эти методы позволяют снизить затраты на ввод данных более чем на 60 процентов по сравнению с подходами без кэширования. Разработчикам рекомендуется отслеживать количество попаданий в кэш и операций записи через метрики CloudWatch и поля использования, чтобы обеспечить оптимальную производительность и экономию затрат.
aws