Ottimizzare costi e latenza con la memorizzazione nella cache dei prompt di Amazon Bedrock
aws ·
La funzione di caching dei prompt di Amazon Bedrock riduce significativamente sia la latenza che i costi relativi ai token di input, memorizzando snapshot degli elaborazioni parziali per il riutilizzo. Quando gli utenti inviano ripetutamente lo stesso contesto, come prompt di sistema o documenti lunghi, ai modelli di base, questa soluzione a livello di infrastruttura può abbassare i costi fino al 90 percento in caso di hit nella cache. Il meccanismo funziona inserendo un marcatore 'cachePoint' nelle richieste; se le richieste successive corrispondono al prefisso memorizzato nella cache, il modello salta i calcoli ridondanti. I fattori operativi chiave includono l'ambito della cache per account AWS, le soglie minime di token che variano in base al modello e i periodi di tempo di vita (TTL) configurabili. Le strutture di prezzo introducono categorie specifiche per le scritture nella cache, che costano più dell'input standard, e per le letture dalla cache, che sono fortemente scontate. L'articolo illustra sei scenari pratici di implementazione utilizzando l'API Converse, che vanno dalla memorizzazione nella cache del contenuto dei messaggi di base all'isolamento avanzato multi-tenant. Questi esempi dimostrano come gli sviluppatori possano ottimizzare le applicazioni di Generazione Aumentata dal Recupero (RAG) e i flussi di lavoro agentic senza compromettere la qualità dei prompt. Sfruttando questi pattern, le organizzazioni possono ottenere risparmi sostanziali mantenendo velocità di inferenza elevate.
aws