Оптимизация затрат и задержек с помощью кэширования промптов в Amazon Bedrock
aws ·
Функция кэширования промптов в Amazon Bedrock значительно снижает как задержку, так и затраты на входные токены за счёт хранения снимков частично обработанных входных данных для повторного использования. При многократной отправке одного и того же контекста, такого как системные промпты или длинные документы, базовым моделям это решение на уровне инфраструктуры позволяет снизить расходы до 90 процентов при совпадении с кэшем (cache hits). Механизм работает путём размещения маркера «cachePoint» в запросах; если последующие запросы совпадают с сохранённым префиксом, модель пропускает избыточные вычисления. Ключевыми операционными факторами являются область действия кэша для каждого аккаунта AWS, минимальные пороговые значения количества токенов, которые различаются в зависимости от модели, а также настраиваемые периоды времени жизни (TTL). Структура ценообразования предусматривает специальные категории для записи в кэш, которая стоит дороже стандартного ввода, и чтения из кэша, которое сильно удешевлено. В статье подробно описаны шесть практических сценариев реализации с использованием Converse API — от базового кэширования содержимого сообщений до продвинутой изоляции мультиарендных сред. Эти примеры демонстрируют, как разработчики могут оптимизировать приложения с дополненной генерацией (RAG) и агентные рабочие процессы, не жертвуя качеством промптов. Используя эти шаблоны, организации могут достигать значительной экономии, сохраняя при этом высокую скорость вывода результатов.
aws