Доступ к моделям OpenAI GPT в Amazon Bedrock с глобальной межрегиональной инференцией в Таиланде, Малайзии, Сингапуре, Индонезии и на Тайване
aws ·
AWS объявила о запуске глобальной функции кросс-регионального вывода для моделей OpenAI GPT-6 на платформе Amazon Bedrock, ориентированной на пользователей в Таиланде, Малайзии, Сингапуре, Индонезии и Тайване. Эта возможность позволяет командам получать доступ к моделям GPT-6 Sol, GPT-6 Luna и GPT-6 Astra из пяти исходных регионов Азиатско-Тихоокеанского региона (АТР), перенаправляя запросы в более широкие коммерческие регионы AWS при недостатке локальных мощностей. В статье приводится техническое руководство по настройке этих профилей через API Converse, совместимые с OpenAI API, а также клиентов для разработки кода, таких как Codex. Подробно описаны необходимые политики IAM и изменения политик управления службами (SCP) для обработки атрибута региона «не указан», который присущ кросс-региональным вызовам. Управление квотами отслеживается в исходном регионе с использованием модели токенов в минуту, учитывающей входные, кэшированные и выходные токены. Мониторинг и выставление счетов остаются централизованными в исходном регионе, при этом журналы CloudTrail указывают конкретный целевой регион для каждого запроса на вывод. В завершение рассматриваются вопросы безопасности, касающиеся хранения данных, и шаги по очистке временных конфигураций.
aws