Создание памяти агентов с помощью NVIDIA NeMo Agent Toolkit и Amazon S3 Vectors
aws ·
В данной статье подробно описывается реализация постоянной памяти для многоагентных ИИ-систем путем интеграции NVIDIA NeMo Agent Toolkit (NAT) с Amazon S3 Vectors. Объясняется процесс создания пользовательского плагина MemoryEditor, который использует модель Amazon Titan Text Embeddings V2 для хранения и извлечения семантических данных в среде Amazon EKS. Руководство содержит примеры кода для настройки векторных хранилищ, индексирования метаданных и регистрации провайдера в YAML-конфигурации NAT. Практический пример с агентами инвестиционных исследований демонстрирует, как несколько агентов обмениваются знаниями с помощью фильтров по метаданным, таких как team_id и user_id. В посте также рассматриваются эксплуатационные аспекты, включая контейнеризацию агентов, их развертывание через манифесты Kubernetes и управление доступом с использованием IAM Roles for Service Accounts. Наконец, обсуждаются методы оценки производительности, такие как измерение groundedness и использования токенов, а также стратегии консолидации памяти и очистки ресурсов.
aws