NarrateAI: assicurazione qualità per modelli linguistici su Amazon Bedrock
aws ·
Questo articolo descrive NarrateAI, un sistema di garanzia della qualità pronto per la produzione per i modelli linguistici di grandi dimensioni (LLM), sviluppato su Amazon Bedrock per supportare i dirigenti AWS nelle decisioni basate sui dati. L'architettura impiega cinque tecniche coordinate per garantire alta accuratezza e bassa latenza durante le interazioni in tempo reale. L'Orchestrazione Adattiva della Pipeline instrada le query attraverso un percorso rapido a passaggio singolo o un percorso complesso a batch multipli in base al volume dei dati, riducendo le invocazioni degli LLM del 72%. Il Failover Multi-Modello tra Account Cross-Account espande la capacità di inferenza utilizzando quote indipendenti su più modelli e account AWS, eliminando efficacemente il throttling visibile agli utenti sotto carico massimo. La Valutazione in Streaming in Tempo Reale convalida ogni paragrafo mentre viene generato mediante un pattern producer-consumer, riducendo la latenza percepita della valutazione dell'86,8% rispetto ai metodi sequenziali. Un Framework di Valutazione Composito esegue controlli paralleli per linguaggio obiettivo, formattazione e accuratezza numerica, individuando fallimenti co-occorrenti che singoli valutatori potrebbero non rilevare. Infine, la Verifica dell'Accuratezza dei Dati utilizza una cascata a due fasi di corrispondenza esatta e analisi semantica per prevenire allucinazioni numeriche mantenendo l'efficienza computazionale. Insieme, questi componenti forniscono una precisione numerica di circa il 99%, con risposte che vengono trasmesse in pochi secondi.
aws