Acceso a modelos OpenAI GPT en Amazon Bedrock con inferencia global entre regiones en Tailandia, Malasia, Singapur, Indonesia y Taiwán
aws ·
AWS ha anunciado capacidades de inferencia global entre regiones para los modelos OpenAI GPT-6 en Amazon Bedrock, dirigidas específicamente a usuarios en Tailandia, Malasia, Singapur, Indonesia y Taiwán. Esta función permite a los equipos acceder a GPT-6 Sol, GPT-6 Luna y GPT-6 Astra desde cinco regiones fuente de Asia Pacífico, enrutando las solicitudes a regiones comerciales más amplias de AWS cuando la capacidad local es insuficiente. El artículo proporciona orientación técnica sobre la configuración de estos perfiles mediante la API Converse, las APIs compatibles con OpenAI y clientes de codificación como Codex. Detalla las políticas IAM necesarias y los ajustes en las Políticas de Control de Servicios para manejar el atributo de región 'no especificado' inherente a las llamadas entre regiones. La gestión de cuotas se rastrea en la región fuente utilizando un modelo de tokens por minuto que tiene en cuenta los tokens de entrada, caché y salida. La monitorización y la facturación permanecen centralizadas en la región fuente, con registros de CloudTrail que indican la región de destino específica para cada solicitud de inferencia. La publicación concluye con consideraciones de seguridad sobre la retención de datos y pasos para limpiar configuraciones temporales.
aws