Bewertungsvoreingenommenheit beheben, um bessere Modelle auf Amazon Bedrock zu nutzen
aws ·
Property Finder, eine digitale Immobilienanwendung, stellte fest, dass sein Modellbewertungsprozess stark verzerrt war, da 96,8 % seiner Labels von den Vorhersagen eines etablierten Modells übernommen und nicht von menschlichen Experten überprüft wurden. Diese zirkuläre Bewertungsmethode ließ alternative Modelle schlechter abschneiden und verhinderte einen objektiven Vergleich während der Migration zu Amazon Bedrock. Um dies zu beheben, erstellte das Team ein unverzerrtes Ground Truth, indem Domain-Experten 356 Bilder unabhängig von früheren Modellausgaben manuell annotierten. Sie implementierten eine evolutionäre Prompt-Optimierungsschleife, verfeinerten Anweisungen basierend auf Fehleranalysen und wechselten zur Multi-Label-Klassifizierung, um sich überschneidende visuelle Attribute zu handhaben. Mit Llama 4 Maverick 17B Instruct und optimierten Prompts auf Amazon Bedrock steigerte das Unternehmen den Micro-F1-Score von 0,55 auf 0,81 im Vergleich zu seiner vorherigen Konfiguration. Dieser Übergang führte zu einer Reduzierung der Verarbeitungs costs um 86 % und einer Verringerung der Inferenz-Latenz um 40–60 %, während die Genauigkeit über alle elf Qualitätsattribute hinweg höher blieb. Die Fallstudie unterstreicht die entscheidende Bedeutung der Prüfung von Bewertungsdatensätzen auf Verzerrungen und der Verwendung von von Experten annotiertem Ground Truth, um gültige Modellvergleiche sicherzustellen.
aws