Устранение смещения оценки для раскрытия потенциала лучших моделей в Amazon Bedrock
aws ·
Компания Property Finder, разработчик цифрового приложения для недвижимости, обнаружила, что её процесс оценки моделей был серьёзно искажён: 96,8% меток были унаследованы от предсказаний действующей модели, а не проверены экспертами-людьми. Этот циклический метод оценки заставлял любые альтернативные модели выглядеть хуже, что препятствовало объективному сравнению при миграции на Amazon Bedrock. Для решения проблемы команда создала необъективную «истину» (ground truth), вручную аннотировав 356 изображений независимыми экспертами в предметной области, без учёта предыдущих выводов моделей. Они внедрили эволюционный цикл оптимизации промптов, улучшая инструкции на основе анализа ошибок и перейдя к многоклассовой классификации для обработки перекрывающихся визуальных атрибутов. Использование Llama 4 Maverick 17B Instruct с оптимизированными промптами на платформе Amazon Bedrock позволило компании повысить показатель Micro F1 с 0,55 до 0,81 по сравнению с предыдущей конфигурацией. Этот переход привёл к снижению затрат на обработку на 86% и уменьшению времени вывода (инференса) на 40–60%, при этом сохранив более высокую точность по всем одиннадцати атрибутам качества. В данном кейсе подчёркивается критическая важность аудита наборов данных для оценки на наличие смещений и использования экспертно аннотированной истины для обеспечения корректного сравнения моделей.
aws