Адаптивная система агентов на базе Strands Agents
aws ·
Адаптивная агентная интеллектуальная система (AAIF) использует агентов Strands для оптимизации обработки ИИ, маршрутизируя запросы в зависимости от их сложности, а не отправляя все запросы в одну большую модель. Эта архитектура применяет небольшую языковую модель llama3.2:1b в качестве локального оркестратора для классификации задач и направления их либо на локальные, либо на облачные ресурсы. Рутинные операции, такие как получение телеметрии IoT или анализ видеопотоков с камер, выполняются локально через Ollama, что обеспечивает низкую задержку и конфиденциальность данных. Сложные аналитические задачи, требующие более широкого рассуждения, делегируются передовым моделям, размещенным на Amazon Bedrock. Система поддерживает гибкие варианты развертывания, включая полностью облачные, гибридные edge-cloud или изолированные среды, позволяя организациям балансировать между стоимостью и производительностью. За счет сохранения примерно 80% трафика на стороне клиента AAIF значительно снижает затраты на API, сохраняя при этом эффективное время отклика для стандартных запросов. Реализация также демонстрирует будущую масштабируемость благодаря серверам протокола контекста моделей (Model Context Protocol) для распределенного вызова инструментов. Наконец, авторы подчеркивают важность интеграции ответственных мер контроля ИИ, таких как Bedrock Guardrails, как на локальных, так и на облачных путях вывода, чтобы обеспечить безопасность.
aws