Перенос многомодельных ИИ-агентов в среду выполнения Amazon Bedrock AgentCore
aws ·
В этой публикации AWS объясняется, как перенести мультимодельного ИИ-агента для здравоохранения из самостоятельно управляемой среды Amazon ECS с AWS Fargate в среду выполнения Amazon Bedrock AgentCore без изменения основной логики агента. Агент, созданный с использованием фреймворка Hugging Face smolagents, координирует работу Llama 3.1 70B Instruct из Amazon Bedrock, развертывания BioM-ELECTRA-Large-SQuAD2 в Amazon SageMaker AI и контейнеризованного сервера моделей, а Amazon OpenSearch Service обеспечивает расширенный векторным поиском доступ к знаниям. AgentCore оборачивает существующий код с помощью BedrockAgentCoreApp, @app.entrypoint и app.run(), а также управляет жизненным циклом контейнеров, масштабированием, идентификацией на основе IAM и наблюдаемостью. В публикации подробно описываются необходимые предварительные условия, настройка проекта, упаковка в Docker, развертывание через CLI и вызов через AgentCore CLI или boto3. Этот управляемый подход сравнивается с ECS и Fargate, которые предоставляют больший контроль над настройками контейнеров, сети и масштабирования, но требуют от команд самостоятельного управления этими компонентами. Пример предназначен для демонстрации; в статье отмечается, что в производственных системах, обрабатывающих медицинские или другие конфиденциальные запросы, следует использовать Amazon Bedrock Guardrails.
aws