Corrigir o viés de avaliação para desbloquear melhores modelos no Amazon Bedrock
aws ·
A Property Finder, um aplicativo imobiliário digital, descobriu que seu processo de avaliação de modelos era severamente enviesado, pois 96,8% de seus rótulos eram herdados das previsões de um modelo incumbente, em vez de serem verificados por especialistas humanos. Esse método de avaliação circular fazia com que qualquer modelo alternativo parecesse ter desempenho inferior, bloqueando a comparação objetiva durante uma migração para o Amazon Bedrock. Para resolver o problema, a equipe criou uma verdade fundamental não enviesada, fazendo com que especialistas do domínio anotassem manualmente 356 imagens de forma independente dos resultados anteriores dos modelos. Eles implementaram um loop evolutivo de otimização de prompts, refinando as instruções com base na análise de erros e adotando a classificação multirótulo para lidar com atributos visuais sobrepostos. Ao usar o Llama 4 Maverick 17B Instruct com prompts otimizados no Amazon Bedrock, a empresa aumentou a pontuação Micro F1 de 0,55 para 0,81 em comparação com sua configuração anterior. Essa transição resultou em uma redução de 86% nos custos de processamento e uma diminuição de 40–60% na latência de inferência, mantendo maior precisão em todos os onze atributos de qualidade. O estudo de caso destaca a importância crítica de auditar conjuntos de dados de avaliação quanto a vieses e utilizar uma verdade fundamental anotada por especialistas para garantir comparações válidas entre modelos.
aws