Accesso ai modelli OpenAI GPT su Amazon Bedrock con inferenza globale cross-Region in Thailandia, Malesia, Singapore, Indonesia e Taiwan
aws ·
AWS ha annunciato la disponibilità delle funzionalità di inferenza globale cross-Region per i modelli OpenAI GPT-6 su Amazon Bedrock, rivolte specificamente agli utenti in Thailandia, Malesia, Singapore, Indonesia e Taiwan. Questa funzione consente ai team di accedere a GPT-6 Sol, GPT-6 Luna e GPT-6 Astra da cinque regioni sorgente dell'Asia Pacifico, instradando le richieste verso altre regioni AWS commerciali più ampie quando la capacità locale è insufficiente. L'articolo fornisce indicazioni tecniche per configurare questi profili tramite l'API Converse, le API compatibili con OpenAI e client di codifica come Codex. Vengono dettagliate le policy IAM necessarie e le modifiche alle Service Control Policy per gestire l'attributo della regione 'non specificato', intrinseco alle chiamate cross-Region. La gestione delle quote viene tracciata nella regione sorgente utilizzando un modello token-al-minuto che tiene conto dei token di input, cache e output. Il monitoraggio e la fatturazione rimangono centralizzati nella regione sorgente, con i log di CloudTrail che indicano la regione di destinazione specifica per ogni richiesta di inferenza. Il post si conclude con considerazioni sulla sicurezza relative alla conservazione dei dati e con i passaggi per la pulizia delle configurazioni temporanee.
aws