Come Postman esegue la modalità Agente per 40 milioni di sviluppatori su Amazon Bedrock
aws ·
Postman ha implementato con successo la modalità Agent per i suoi 40 milioni di sviluppatori utilizzando Amazon Bedrock, affrontando le complesse sfide ingegneristiche legate all'integrazione dell'IA in un prodotto maturo. Il team ha scoperto che gestire la proliferazione degli strumenti era fondamentale: ha quindi adottato una selezione dinamica degli strumenti per limitare la visibilità del modello solo agli strumenti rilevanti, riducendo gli errori associati a insiemi di strumenti ampi. Per migliorare l'efficienza, Postman è passato dalla creazione di numerosi strumenti monouso alla fornitura di accesso di sola lettura basato su schema, consentendo all'agente di interrogare dati strutturati direttamente tramite comandi simili al SQL. La gestione del contesto si è rivelata il principale collo di bottiglia, portando allo sviluppo di handler contestuali specifici progettati per distillare le informazioni sulle entità anziché serializzare modelli di dati specifici dell'interfaccia. Sul lato infrastrutturale, Amazon Bedrock offre funzionalità essenziali come la flessibilità dei modelli nell'ambito della famiglia Claude, l'inferenza cross-Region per gestire i picchi di traffico e la memorizzazione nella cache dei prompt a livelli per ottimizzare latenza e costi. La sicurezza enterprise è garantita attraverso profili di inferenza geografica e impostazioni di zero retention dei dati, assicurando la conformità ai rigorosi requisiti di residenza dei dati. Questi schemi architetturali dimostrano come i team possano portare gli agenti di produzione oltre la fase prototipale trattando il contesto e l'esposizione degli strumenti come risorse scarse. In definitiva, la soluzione evidenzia l'importanza di disaccoppiare le azioni dell'agente dallo stato dell'interfaccia utente e di mantenere una solida base di conoscenza basata sulla Retrieval Augmented Generation.
aws