在泰国、马来西亚、新加坡、印度尼西亚和台湾通过亚马逊Bedrock使用全球跨区推理访问OpenAI GPT模型
aws ·
AWS宣布在Amazon Bedrock上为OpenAI GPT-6模型提供全球跨区域推理功能,主要面向泰国、马来西亚、新加坡、印度尼西亚和台湾的用户。该功能允许团队从五个亚太源区域访问GPT-6 Sol、GPT-6 Luna和GPT-6 Astra,当本地容量不足时,请求将被路由至更广泛的商业AWS区域。文章提供了通过Converse API、OpenAI兼容API以及Codex等编码客户端配置这些配置文件的 technical guidance。文中详细说明了处理跨区域调用中固有的“未指定”区域属性所需的IAM策略和服务控制策略(SCP)调整。配额管理在源区域使用每分钟令牌数模型进行跟踪,涵盖输入、缓存和输出令牌。监控和计费仍在源区域集中进行,CloudTrail日志会指示每次推理请求的具体目标区域。文章最后讨论了数据保留方面的安全注意事项以及清理临时配置的步骤。
aws