Corriger le biais d'évaluation pour débloquer de meilleurs modèles sur Amazon Bedrock
aws ·
Property Finder, une application immobilière numérique, a découvert que son processus d'évaluation de modèles était fortement biaisé, car 96,8 % de ses étiquettes étaient héritées des prédictions d'un modèle en place plutôt que vérifiées par des experts humains. Cette méthode d'évaluation circulaire faisait apparaître tout modèle alternatif comme sous-performant, bloquant toute comparaison objective lors d'une migration vers Amazon Bedrock. Pour résoudre ce problème, l'équipe a établi une vérité terrain non biaisée en faisant annoter manuellement et indépendamment 356 images par des experts du domaine, sans tenir compte des sorties précédentes des modèles. Ils ont mis en œuvre une boucle évolutive d'optimisation des invites (prompts), affinant les instructions sur la base de l'analyse des erreurs et passant à une classification multi-étiquettes pour gérer les attributs visuels superposés. Avec Llama 4 Maverick 17B Instruct et des invites optimisées sur Amazon Bedrock, l'entreprise a augmenté son score Micro F1 de 0,55 à 0,81 par rapport à sa configuration précédente. Cette transition a entraîné une réduction de 86 % des coûts de traitement et une diminution de 40 à 60 % de la latence d'inférence, tout en maintenant une précision supérieure sur les onze attributs de qualité. Cette étude de cas souligne l'importance cruciale d'auditer les jeux de données d'évaluation afin de détecter les biais et d'utiliser une vérité terrain annotée par des experts pour garantir des comparaisons valides entre les modèles.
aws