Acesso aos modelos OpenAI GPT no Amazon Bedrock com inferência global entre regiões na Tailândia, Malásia, Singapura, Indonésia e Taiwan
aws ·
A AWS anunciou capacidades de inferência global entre regiões para os modelos OpenAI GPT-6 no Amazon Bedrock, direcionando especificamente usuários na Tailândia, Malásia, Cingapura, Indonésia e Taiwan. Esse recurso permite que equipes acessem o GPT-6 Sol, GPT-6 Luna e GPT-6 Astra a partir de cinco regiões-fonte da Ásia-Pacífico, roteando solicitações para regiões comerciais mais amplas da AWS quando a capacidade local for insuficiente. O artigo fornece orientações técnicas sobre como configurar esses perfis por meio da API Converse, APIs compatíveis com OpenAI e clientes de código como o Codex. São detalhadas as políticas IAM necessárias e os ajustes nas Políticas de Controle de Serviço (SCP) para lidar com o atributo de região 'não especificado' inerente às chamadas entre regiões. A gestão de cotas é rastreada na região-fonte usando um modelo de tokens por minuto que considera tokens de entrada, cache e saída. O monitoramento e a cobrança permanecem centralizados na região-fonte, com logs do CloudTrail indicando a região de destino específica para cada solicitação de inferência. O post conclui com considerações de segurança sobre a retenção de dados e etapas para limpar configurações temporárias.
aws