Zugriff auf OpenAI GPT-Modelle auf Amazon Bedrock aus Kanada mit Cross-Region-Inferenz
aws ·
AWS hat kanadischen Organisationen den Zugriff auf die OpenAI-Modelle GPT-5.6, GPT-6 und GPT-6.1 über Amazon Bedrock mittels Cross-Region-Inference (CRIS) ermöglicht. Diese Funktion leitet Anfragen aus den Regionen Canada (Central) und Canada West (Calgary) zur Verarbeitung an US- oder andere globale Regionen weiter, wodurch die Kapazität bei Nachfragespitzen erweitert wird. Nutzer können zwischen „US Geographic“-Profilen, die die Inferenz in Nordamerika hält, und „Global“-Profilen, die auf einen breiteren Kapazitätsbereich zugreifen, wählen. Der Artikel bietet detaillierte Anleitungen zur Einrichtung von IAM-Berechtigungen, zur Konfiguration von Service Control Policies für die Datenhoheit sowie zum Aufrufen der Modelle über die OpenAI Responses API, Chat Completions API und Amazon Bedrock Converse API. Zudem werden praktische Aspekte wie Prompt-Caching zur Kostenreduzierung, Quotenmanagement für Tokens pro Minute und Observability-Tools wie CloudTrail und CloudWatch behandelt. Sicherheitsmaßnahmen gewährleisten, dass Daten während des Transits und im Ruhezustand in der Quellregion verschlüsselt bleiben, mit spezifischen Hinweisen zur Aufbewahrung von Inhalten für die Moderation in den Zielregionen. Abschließend werden Schritte zur Überwachung der Nutzung, zur Beantragung von Quotenerhöhungen und zur Bereinigung von Testressourcen dargelegt, um unnötige Gebühren zu vermeiden.
aws