Acceso a modelos OpenAI GPT en Amazon Bedrock desde Canadá con inferencia entre regiones
aws ·
AWS ha habilitado que las organizaciones canadienses accedan a los modelos OpenAI GPT-5.6, GPT-6 y GPT-6.1 a través de Amazon Bedrock mediante inferencia entre regiones (CRIS). Esta función permite que las solicitudes originadas en las regiones Canadá (Central) y Canadá Oeste (Calgary) se enruten hacia EE. UU. u otras regiones globales para su procesamiento, ampliando así la capacidad durante picos de demanda. Los usuarios pueden elegir entre perfiles 'geográficos de EE. UU.', que mantienen la inferencia dentro de América del Norte, y perfiles 'globales' que aprovechan un conjunto de capacidad más amplio. El artículo proporciona orientación detallada sobre la configuración de permisos IAM, la configuración de políticas de control de servicios para la residencia de datos y la invocación de modelos a través de la API de respuestas de OpenAI, la API de completados de chat y la API Converse de Amazon Bedrock. También cubre aspectos prácticos como el almacenamiento en caché de prompts para reducir costos, la gestión de cuotas para tokens por minuto y herramientas de observabilidad como CloudTrail y CloudWatch. Las medidas de seguridad garantizan que los datos permanezcan cifrados en tránsito y en reposo en la región de origen, con notas específicas sobre la retención de la moderación de contenido en las regiones de destino. Finalmente, el post describe los pasos para monitorear el uso, solicitar aumentos de cuota y limpiar los recursos de prueba para evitar cargos innecesarios.
aws