Как Postman запускает режим агента для 40 миллионов разработчиков на Amazon Bedrock
aws ·
Postman успешно развернула режим Agent Mode для своих 40 миллионов разработчиков с использованием Amazon Bedrock, решив сложные инженерные задачи интеграции ИИ в зрелый продукт. Команда выяснила, что управление разрастанием инструментов имеет критическое значение: была внедрена динамическая выборка инструментов, чтобы ограничить доступ модели только релевантными инструментами и снизить количество ошибок, связанных с большими наборами инструментов. Для повышения эффективности Postman перешла от создания множества узкоспециализированных инструментов к предоставлению доступа на основе схем, позволяя агенту напрямую запрашивать структурированные данные с помощью команд, похожих на SQL. Управление контекстом стало основным узким местом, что привело к разработке специализированных обработчиков контекста, которые сводят информацию об объектах к сути, а не сериализуют специфичные для интерфейса модели данных. На стороне инфраструктуры Amazon Bedrock предоставляет важные возможности, такие как гибкость моделей в рамках семейства Claude, межрегиональный вывод для обработки всплесков трафика и многоуровневое кэширование промптов для оптимизации задержек и затрат. Корпоративная безопасность обеспечивается профилями географического вывода и настройками нулевого хранения данных, что гарантирует соответствие строгим требованиям к резидентности данных. Эти архитектурные паттерны демонстрируют, как команды могут выводить производственных агентов за рамки прототипов, рассматривая контекст и доступность инструментов как дефицитные ресурсы. В конечном итоге решение подчеркивает важность разделения действий агента и состояния пользовательского интерфейса, а также поддержания надежной базы знаний на базе Retrieval Augmented Generation.
aws