Corregir el sesgo de evaluación para desbloquear mejores modelos en Amazon Bedrock
aws ·
Property Finder, una aplicación digital de bienes raíces, descubrió que su proceso de evaluación de modelos estaba severamente sesgado porque el 96,8 % de sus etiquetas se heredaban de las predicciones de un modelo vigente en lugar de ser verificadas por expertos humanos. Este método de evaluación circular hacía que cualquier modelo alternativo pareciera tener un rendimiento inferior, lo que impedía una comparación objetiva durante la migración a Amazon Bedrock. Para resolverlo, el equipo creó una verdad fundamental sin sesgos mediante la anotación manual independiente de 356 imágenes por parte de expertos del dominio. Implementaron un bucle evolutivo de optimización de prompts, refinando las instrucciones basándose en el análisis de errores y cambiando a la clasificación multietiqueta para manejar atributos visuales superpuestos. Al utilizar Llama 4 Maverick 17B Instruct con prompts optimizados en Amazon Bedrock, la empresa logró aumentar la puntuación Micro F1 de 0,55 a 0,81 en comparación con su configuración anterior. Esta transición resultó en una reducción del 86 % en los costos de procesamiento y una disminución del 40–60 % en la latencia de inferencia, mientras mantenía una mayor precisión en todos los once atributos de calidad. El estudio de caso destaca la importancia crítica de auditar los conjuntos de datos de evaluación en busca de sesgos y utilizar una verdad fundamental anotada por expertos para garantizar comparaciones válidas entre modelos.
aws