Como a Postman executa o Modo Agente para 40 milhões de desenvolvedores no Amazon Bedrock
aws ·
A Postman implantou com sucesso o Modo Agente para seus 40 milhões de desenvolvedores utilizando o Amazon Bedrock, resolvendo os complexos desafios de engenharia da integração de IA em um produto maduro. A equipe descobriu que gerenciar a proliferação de ferramentas era crítico, implementando a seleção dinâmica de ferramentas para limitar a visualização do modelo apenas às ferramentas relevantes e reduzir erros associados a grandes conjuntos de ferramentas. Para melhorar a eficiência, a Postman migrou da criação de numerosas ferramentas de propósito único para fornecer acesso de leitura baseado em esquema, permitindo que o agente consultasse dados estruturados diretamente por meio de comandos semelhantes ao SQL. O gerenciamento de contexto emergiu como o principal gargalo, levando ao desenvolvimento de manipuladores de contexto específicos que condensam informações de entidades em vez de serializar modelos de dados específicos da interface. No lado da infraestrutura, o Amazon Bedrock oferece capacidades essenciais, como flexibilidade de modelos na família Claude, inferência entre regiões para lidar com picos de tráfego e armazenamento em cache de prompts em camadas para otimizar latência e custos. A segurança empresarial é mantida por meio de perfis de inferência geográfica e configurações de retenção zero de dados, garantindo conformidade com rigorosos requisitos de residência de dados. Esses padrões arquitetônicos demonstram como as equipes podem levar agentes de produção além dos protótipos, tratando o contexto e a exposição de ferramentas como recursos escassos. Em última análise, a solução destaca a importância de desacoplar as ações do agente do estado da interface do usuário e manter uma base de conhecimento robusta de Geração Aumentada por Recuperação (RAG).
aws