Comment Postman fait fonctionner le Mode Agent pour 40 millions de développeurs sur Amazon Bedrock
aws ·
Postman a déployé avec succès le mode Agent pour ses 40 millions de développeurs en utilisant Amazon Bedrock, relevant les défis techniques complexes liés à l'intégration de l'IA dans un produit mature. L'équipe a constaté que la gestion de l'explosion des outils était cruciale ; elle a ainsi mis en place une sélection dynamique des outils pour limiter la vue du modèle aux seuls outils pertinents et réduire les erreurs associées aux grands ensembles d'outils. Pour améliorer l'efficacité, Postman est passé de la création de nombreux outils à usage unique à la fourniture d'un accès en lecture basé sur le schéma, permettant à l'agent d'interroger directement des données structurées via des commandes de type SQL. La gestion du contexte s'est révélée être le principal goulot d'étranglement, ce qui a conduit au développement de gestionnaires de contexte sur mesure destinés à synthétiser les informations relatives aux entités plutôt qu'à sérialiser des modèles de données spécifiques à l'interface. Sur le plan de l'infrastructure, Amazon Bedrock offre des fonctionnalités essentielles telles que la flexibilité des modèles au sein de la famille Claude, l'inférence inter-régions pour gérer les pics de trafic, et la mise en cache par niveaux des invites afin d'optimiser la latence et les coûts. La sécurité des entreprises est assurée par des profils d'inférence géographiques et des paramètres de rétention de données nulle, garantissant la conformité aux exigences strictes en matière de résidence des données. Ces modèles architecturaux montrent comment les équipes peuvent faire évoluer les agents de production au-delà du stade prototype en considérant le contexte et l'exposition des outils comme des ressources rares. En définitive, cette solution met en lumière l'importance de découpler les actions de l'agent de l'état de l'interface utilisateur et de maintenir une base de connaissances robuste basée sur la Génération Augmentée par Récupération (RAG).
aws