Comment Octave a bâti une fondation IA multi-locataire sécurisée sur Amazon Bedrock
aws ·
Octave Reliance a développé une infrastructure d'IA sécurisée et multi-locataire sur Amazon Bedrock afin de valoriser la mémoire institutionnelle des secteurs réglementés sans compromettre l'isolement des données. L'équipe a privilégié la construction d'une plateforme horizontale plutôt que de fonctionnalités individuelles pour répondre à quatre tensions clés : une séparation stricte des locataires, l'exécution isolée des agents, la gestion des entrées non fiables et le traitement à haut débit de deux milliards de documents. En s'appuyant sur Cohere Embed v4 pour la récupération multilingue et multimodale, le système a atteint une efficacité de stockage significative tout en maintenant une précision élevée sur divers types de documents. La sécurité a été assurée par Amazon Bedrock AgentCore, qui utilise des microVM dédiées et la propagation de l'identité par utilisateur pour prévenir les fuites de données entre locataires. De plus, les garde-fous (Guardrails) d'Amazon Bedrock ont offert une défense en profondeur contre les injections de prompts et la divulgation d'informations sensibles en filtrant les entrées et les sorties à plusieurs étapes. L'assistant de tri des plaintes qui en résulte a réduit les délais d'enquête de plusieurs heures à quelques minutes en assemblant automatiquement le contexte historique pertinent pour les gestionnaires de la qualité. Cette approche architecturale a divisé par deux le temps de déploiement des nouveaux cas d'utilisation de l'IA, permettant à Octave de livrer ses capacités de recherche sémantique avant les délais prévus.
aws