Cómo Octave construyó una base de IA multiinquilino segura en Amazon Bedrock
aws ·
Octave Reliance desarrolló una base de IA segura y multiinquilino en Amazon Bedrock para desbloquear la memoria institucional en industrias reguladas sin comprometer el aislamiento de los datos. El equipo priorizó la creación de una plataforma horizontal sobre características individuales para abordar cuatro tensiones clave: separación estricta de inquilinos, ejecución aislada de agentes, manejo de entradas no confiables y alto rendimiento en la incrustación de dos mil millones de documentos. Al aprovechar Cohere Embed v4 para la recuperación multilingüe y multimodal, el sistema logró una eficiencia de almacenamiento significativa mientras mantenía la precisión en diversos tipos de documentos. La seguridad se aplicó mediante Amazon Bedrock AgentCore, que utiliza microVMs dedicados y propagación de identidad por usuario para evitar filtraciones de datos entre inquilinos. Además, Amazon Bedrock Guardrails proporcionó una defensa en profundidad contra la inyección de prompts y la divulgación de información sensible, filtrando entradas y salidas en múltiples etapas. El Asistente de Triaje de Quejas resultante redujo los tiempos de investigación de horas a minutos al ensamblar automáticamente el contexto histórico relevante para los operadores de calidad. Este enfoque arquitectónico redujo el tiempo de implementación para nuevos casos de uso de IA en un 50 por ciento, permitiendo a Octave entregar capacidades de búsqueda semántica antes de lo previsto.
aws