Wie Octave eine sichere Multi-Tenant-KI-Grundlage auf Amazon Bedrock aufgebaut hat
aws ·
Octave Reliance hat eine sichere, multitenante KI-Grundlage auf Amazon Bedrock entwickelt, um das institutionelle Gedächtnis für regulierte Branchen zu erschließen, ohne die Datenisolierung zu gefährden. Das Team priorisierte den Aufbau einer horizontalen Plattform gegenüber einzelnen Funktionen, um vier zentrale Spannungen zu bewältigen: strenge Mandantentrennung, isolierte Agentenausführung, Handhabung nicht vertrauenswürdiger Eingaben und hochdurchsatzfähiges Embedding von zwei Milliarden Dokumenten. Durch den Einsatz von Cohere Embed v4 für mehrsprachige und multimodale Abfragen erreichte das System eine erhebliche Speichereffizienz bei gleichzeitiger Aufrechterhaltung der Genauigkeit über verschiedene Dokumenttypen hinweg. Die Sicherheit wurde durch Amazon Bedrock AgentCore enforced, das dedizierte MicroVMs und die Weitergabe der Identität pro Benutzer nutzt, um ein Auslaufen von Daten zwischen Mandanten zu verhindern. Darüber hinaus boten Amazon Bedrock Guardrails eine Defense-in-Depth-Strategie gegen Prompt-Injection und die Offenbarung sensibler Informationen, indem Eingaben und Ausgaben in mehreren Stufen gefiltert wurden. Der daraus resultierende Complaint Triage Assistant reduzierte die Untersuchungszeiten von Stunden auf Minuten, indem er automatisch relevante historische Kontexte für Qualitätsprüfer zusammenstellte. Dieser architektonische Ansatz verkürzte die Bereitstellungszeit für neue KI-Anwendungsfälle um 50 Prozent, wodurch Octave semantische Suchfunktionen vorzeitig liefern konnte.
aws