Otimização de prompts do sistema de agentes com o Amazon Bedrock AgentCore
aws ·
O Amazon Bedrock AgentCore apresenta uma nova capacidade de otimização que automatiza a melhoria dos prompts do sistema de agentes por meio de rastros de produção e sinais de recompensa. Esse fluxo de trabalho permite que os desenvolvedores proponham alterações de configuração, validem-nas por meio de avaliação em lote offline e as testem via testes A/B online antes da promoção. O sistema conta com dois designs de refletor: o Single Agent Reflector, que oferece alta eficiência e velocidade, e o experimental Sub-Agent Reflector, que utiliza um enxame de agentes para alcançar maior qualidade ao analisar os rastros independentemente. Ambos os métodos são protegidos por barreiras de segurança (guardrails) que impedem o inchaço dos prompts, violações de segurança e overfitting nos dados de rastro. Os resultados de avaliação nos benchmarks AppWorld e WebShop mostram que o Single Agent Reflector proporciona a melhor relação qualidade-custo, enquanto o Sub-Agent Reflector alcança as maiores taxas de sucesso. A AWS recomenda começar com conjuntos pequenos de rastros e incorporar sinais de feedback diversos, como justificativas em texto livre, para melhorar a reflexão. Essas ferramentas visam simplificar o processo manual de ajuste de componentes de agentes, como prompts, descrições de ferramentas e habilidades.
aws