Octave如何在Amazon Bedrock上构建安全的租户隔离AI基础架构
aws ·
Octave Reliance 在 Amazon Bedrock 上构建了一个安全的多租户 AI 基础架构,旨在为受监管行业释放机构记忆,同时确保数据隔离。该团队优先开发横向平台而非单一功能,以应对四项关键挑战:严格的租户隔离、独立的智能体执行、不可信输入处理以及两亿份文档的高吞吐量嵌入。通过利用 Cohere Embed v4 进行多语言和跨模态检索,该系统在保持对不同文档类型准确性的同时,实现了显著的存储效率提升。安全性通过 Amazon Bedrock AgentCore 强制执行,其采用专用微虚拟机(microVMs)和按用户身份传播机制,防止跨租户数据泄露。此外,Amazon Bedrock Guardrails 通过在多个阶段过滤输入和输出,提供了针对提示注入和敏感信息泄露的深度防御。由此开发的投诉分诊助手(Complaint Triage Assistant)通过将相关历史背景自动整合给质量审核人员,将调查时间从数小时缩短至数分钟。这种架构方法使新 AI 用例的部署时间减少了 50%,使 Octave 得以提前交付语义搜索能力。
aws