Come Octave ha creato una base AI multi-tenant sicura su Amazon Bedrock
aws ·
Octave Reliance ha sviluppato una piattaforma AI sicura e multi-tenant su Amazon Bedrock per valorizzare la memoria istituzionale nei settori regolamentati senza compromettere l'isolamento dei dati. Il team ha privilegiato la creazione di una piattaforma orizzontale rispetto a funzionalità singole per affrontare quattro tensioni chiave: separazione rigorosa dei tenant, esecuzione isolata degli agenti, gestione di input non attendibili e elaborazione ad alta velocità di due miliardi di documenti. Sfruttando Cohere Embed v4 per il recupero multilingue e multimodale, il sistema ha raggiunto un'efficienza di storage significativa mantenendo l'accuratezza su diversi tipi di documenti. La sicurezza è stata garantita da Amazon Bedrock AgentCore, che utilizza microVM dedicate e propagazione dell'identità per utente per prevenire la fuoriuscita di dati tra tenant. Inoltre, Amazon Bedrock Guardrails ha fornito una difesa in profondità contro l'iniezione di prompt e la divulgazione di informazioni sensibili, filtrando input e output in più fasi. L'assistente per la triage delle lamentele risultante ha ridotto i tempi di indagine da ore a minuti assemblando automaticamente il contesto storico rilevante per gli operatori della qualità. Questo approccio architetturale ha tagliato del 50% i tempi di deployment per nuovi casi d'uso AI, consentendo a Octave di offrire le funzionalità di ricerca semantica prima della scadenza prevista.
aws