Accès aux modèles OpenAI GPT sur Amazon Bedrock avec inférence inter-régions mondiale en Thaïlande, Malaisie, Singapour, Indonésie et Taïwan
aws ·
AWS a annoncé la disponibilité des capacités d'inférence croisée inter-régions pour les modèles OpenAI GPT-6 sur Amazon Bedrock, ciblant spécifiquement les utilisateurs en Thaïlande, en Malaisie, à Singapour, en Indonésie et à Taïwan. Cette fonctionnalité permet aux équipes d'accéder aux modèles GPT-6 Sol, GPT-6 Luna et GPT-6 Astra depuis cinq régions sources d'Asie-Pacifique, en redirigeant les demandes vers des régions commerciales AWS plus vastes lorsque la capacité locale est insuffisante. L'article fournit des conseils techniques pour configurer ces profils via l'API Converse, les API compatibles avec OpenAI et des clients de codage comme Codex. Il détaille les politiques IAM nécessaires et les ajustements des politiques de contrôle de service (SCP) pour gérer l'attribut de région « non spécifié » inhérent aux appels inter-régions. La gestion des quotas est suivie dans la région source selon un modèle de jetons par minute, qui prend en compte les jetons d'entrée, de cache et de sortie. La surveillance et la facturation restent centralisées dans la région source, les journaux CloudTrail indiquant la région de destination spécifique pour chaque demande d'inférence. Le billet se conclut par des considérations de sécurité concernant la rétention des données et les étapes pour nettoyer les configurations temporaires.
aws