Migrare agenti AI multimodello al runtime Amazon Bedrock AgentCore
aws ·
Questo articolo di AWS illustra come migrare un agente IA sanitario multimodello da Amazon ECS autogestito con AWS Fargate al runtime Amazon Bedrock AgentCore senza modificare la logica di base dell’agente. L’agente, sviluppato con il framework smolagents di Hugging Face, orchestra Llama 3.1 70B Instruct di Amazon Bedrock, un’implementazione di BioM-ELECTRA-Large-SQuAD2 su Amazon SageMaker AI e un server di modelli containerizzato, mentre Amazon OpenSearch Service fornisce il recupero delle conoscenze arricchito dai vettori. AgentCore incapsula il codice esistente con BedrockAgentCoreApp, @app.entrypoint e app.run(), e gestisce il ciclo di vita dei container, il dimensionamento, l’identità basata su IAM e l’osservabilità. L’articolo descrive i prerequisiti, la configurazione del progetto, la creazione del pacchetto Docker, la distribuzione tramite CLI e l’invocazione attraverso la CLI di AgentCore o boto3. Mette a confronto questo approccio gestito con ECS e Fargate, che offrono un controllo maggiore sulla configurazione dei container, della rete e del dimensionamento, ma richiedono ai team di gestire tali componenti. L’esempio è destinato alla dimostrazione e l’articolo osserva che i sistemi di produzione che gestiscono richieste mediche o di altro tipo sensibili dovrebbero utilizzare Amazon Bedrock Guardrails.
aws