Доступ к моделям OpenAI GPT в Amazon Bedrock из Канады с использованием межрегионального вывода
aws ·
AWS предоставила канадским организациям доступ к моделям OpenAI GPT-5.6, GPT-6 и GPT-6.1 через Amazon Bedrock с использованием технологии межрегионального вывода (CRIS). Эта функция позволяет маршрутизировать запросы из регионов Канада (Центральная) и Канада Запад (Калгари) в регионы США или другие глобальные локации для обработки, что помогает расширить мощности во время пиковых нагрузок. Пользователи могут выбирать между профилями «США» (географическое ограничение), которые сохраняют вывод данных в Северной Америке, и глобальными профилями, использующими более широкий пул ресурсов. В статье подробно описаны настройки разрешений IAM, конфигурирование политик управления службами (SCP) для соблюдения требований к резидентности данных, а также вызов моделей через API ответов OpenAI, API завершения чатов и API Converse в Amazon Bedrock. Также рассматриваются практические аспекты, такие как кэширование промптов для снижения затрат, управление квотами на токены в минуту и инструменты наблюдаемости, включая CloudTrail и CloudWatch. Меры безопасности гарантируют шифрование данных при передаче и хранении в исходном регионе, с особыми указаниями относительно хранения данных модерации контента в регионах назначения. Наконец, в публикации изложены шаги по мониторингу использования, запросу увеличения квот и очистке тестовых ресурсов для избежания ненужных расходов.
aws