Zugriff auf OpenAI-GPT-Modelle über Amazon Bedrock mit globaler regionenübergreifender Inferenz in Thailand, Malaysia, Singapur, Indonesien und Taiwan
aws ·
AWS hat globale Cross-Region-Inferenzfähigkeiten für OpenAI GPT-6-Modelle auf Amazon Bedrock angekündigt, die sich speziell an Nutzer in Thailand, Malaysia, Singapur, Indonesien und Taiwan richten. Diese Funktion ermöglicht Teams den Zugriff auf GPT-6 Sol, GPT-6 Luna und GPT-6 Astra aus fünf Quellregionen in Asien-Pazifik, wobei Anfragen bei unzureichender lokaler Kapazität an breitere kommerzielle AWS-Regionen weitergeleitet werden. Der Artikel bietet technische Anleitungen zur Konfiguration dieser Profile über die Converse API, OpenAI-kompatible APIs und Coding-Clients wie Codex. Es werden erforderliche IAM-Richtlinien und Anpassungen der Service Control Policies detailliert beschrieben, um das Attribut „unspecified“ (nicht spezifiziert) zu handhaben, das bei Cross-Region-Aufrufen inherent ist. Das Quotenmanagement wird in der Quellregion nach einem Token-pro-Minute-Modell verfolgt, das Input-, Cache- und Output-Tokens berücksichtigt. Monitoring und Abrechnung bleiben in der Quellregion zentralisiert, wobei CloudTrail-Logs die spezifische Zielregion für jeden Inferenzanforderung anzeigen. Der Beitrag endet mit Sicherheitshinweisen bezüglich der Datenspeicherung und Schritten zum Bereinigen temporärer Konfigurationen.
aws