Ottimizzazione dei prompt di sistema degli agenti con Amazon Bedrock AgentCore
aws ·
Amazon Bedrock AgentCore introduce una nuova capacità di ottimizzazione che automatizza il miglioramento dei prompt di sistema degli agenti utilizzando tracce di produzione e segnali di ricompensa. Questo flusso di lavoro consente agli sviluppatori di proporre modifiche alla configurazione, convalidarle tramite valutazione offline in batch e testarle tramite test A/B online prima della promozione. Il sistema presenta due design del riflettore: il Single Agent Reflector, che offre elevata efficienza e velocità, e il Sub-Agent Reflector sperimentale, che utilizza uno sciame di agenti per raggiungere una qualità superiore analizzando le tracce in modo indipendente. Entrambi i metodi sono protetti da guardrail che impediscono l'espansione dei prompt (prompt bloat), violazioni della sicurezza e l'overfitting sui dati delle tracce. I risultati della valutazione sui benchmark AppWorld e WebShop mostrano che il Single Agent Reflector offre il miglior compromesso tra qualità e costi, mentre il Sub-Agent Reflector raggiunge i tassi di successo più elevati. AWS consiglia di iniziare con set di tracce ridotti e di incorporare segnali di feedback diversificati, come la giustificazione in testo libero, per una riflessione migliore. Questi strumenti mirano a semplificare il processo manuale di regolazione dei componenti degli agenti, quali prompt, descrizioni degli strumenti e competenze.
aws