Multimodell-KI-Agenten zur Amazon-Bedrock-AgentCore-Laufzeit migrieren
aws ·
Dieser AWS-Beitrag erläutert, wie ein Multi-Modell-KI-Agent für das Gesundheitswesen von einem selbst verwalteten Amazon ECS mit AWS Fargate zur Amazon-Bedrock-AgentCore-Laufzeit migriert werden kann, ohne die Kernlogik des Agenten zu ändern. Der mit dem Hugging-Face-Framework smolagents entwickelte Agent orchestriert Llama 3.1 70B Instruct von Amazon Bedrock, eine Bereitstellung von BioM-ELECTRA-Large-SQuAD2 auf Amazon SageMaker AI sowie einen containerisierten Modellserver, während Amazon OpenSearch Service eine vektorgestützte Wissensabfrage ermöglicht. AgentCore bindet den bestehenden Code mit BedrockAgentCoreApp, @app.entrypoint und app.run() ein und verwaltet den Lebenszyklus der Container, die Skalierung, die auf IAM basierende Identität und die Beobachtbarkeit. Der Beitrag beschreibt die Voraussetzungen, die Projekteinrichtung, die Docker-Paketierung, die Bereitstellung über die CLI sowie den Aufruf über die AgentCore-CLI oder boto3. Er stellt diesen verwalteten Ansatz ECS und Fargate gegenüber, die eine größere Kontrolle über die Konfiguration von Containern, Netzwerken und Skalierung bieten, deren Verwaltung jedoch den Teams überlassen. Das Beispiel dient der Demonstration; der Artikel weist darauf hin, dass Produktionssysteme, die medizinische oder andere sensible Anfragen verarbeiten, Amazon Bedrock Guardrails verwenden sollten.
aws