Correggere il bias di valutazione per sbloccare modelli migliori su Amazon Bedrock
aws ·
Property Finder, un'applicazione immobiliare digitale, ha scoperto che il suo processo di valutazione del modello era gravemente distorto perché il 96,8% delle etichette era ereditato dalle previsioni di un modello incumbent anziché essere verificato da esperti umani. Questo metodo di valutazione circolare faceva apparire qualsiasi modello alternativo come sottoperformante, bloccando il confronto obiettivo durante la migrazione a Amazon Bedrock. Per risolvere il problema, il team ha creato una ground truth non distorta facendo annotare manualmente 356 immagini da esperti del dominio, indipendentemente dai precedenti output dei modelli. Hanno implementato un ciclo evolutivo di ottimizzazione dei prompt, affinando le istruzioni in base all'analisi degli errori e passando alla classificazione multi-etichetta per gestire gli attributi visivi sovrapposti. Utilizzando Llama 4 Maverick 17B Instruct con prompt ottimizzati su Amazon Bedrock, l'azienda ha registrato un aumento del punteggio Micro F1 da 0,55 a 0,81 rispetto alla configurazione precedente. Questa transizione ha comportato una riduzione dell'86% nei costi di elaborazione e una diminuzione del 40-60% nella latenza di inferenza, mantenendo al contempo una maggiore accuratezza su tutti e undici gli attributi di qualità. Lo studio di caso evidenzia l'importanza cruciale di verificare i dataset di valutazione per individuare distorsioni e utilizzare una ground truth annotata da esperti per garantire confronti validi tra i modelli.
aws