Построение безсерверного конвейера удаления персональных данных с помощью Amazon Bedrock Data Automation
aws ·
В данной статье демонстрируется создание безсерверного конвейера для автоматического удаления персональных данных (PII) с использованием Amazon Bedrock Data Automation, AWS Step Functions и AWS Lambda. Решение устраняет ограничения ручного удаления данных и традиционного оптического распознавания символов (OCR), применяя генеративный ИИ для целостного анализа контекста и макета документа. Пользовательский шаблон позволяет определять конкретные поля для удаления на основе инструкций на естественном языке, проводя различие между конфиденциальными данными пациентов и несекретной информацией врачей. Архитектура обрабатывает документы пакетами, преобразуя PDF-файлы в изображения и применяя черное выделение (black box redaction) на основе координат ограничивающих рамок, возвращаемых сервисом. Для повышения точности конвейер использует двухэтапный метод обнаружения, сочетающий извлечение данных по пользовательскому шаблону со стандартным сопоставлением выходных токенов на уровне слов. Результаты оценки показали, что этот подход обеспечивает точность (precision) на уровне 97,0% и повышает полноту (recall) с 89,3% до 95,2% при различных уровнях качества документов, включая рукописные формы и сканы низкого разрешения. Безсерверная архитектура обеспечивает масштабируемость и экономическую эффективность, сохраняя безопасность благодаря ролям IAM, шифрованию и сетям VPC. Этот повторно используемый паттерн можно адаптировать для здравоохранения, финансового сектора и государственных учреждений для выполнения требований по соблюдению нормативных актов в отношении больших объемов персональных данных.
aws