FairStress : Une évaluation approfondie de l'équité dans la prise de décision des LLM
huggingface ·
Allen AI a présenté FairStress, un nouveau benchmark conçu pour évaluer l'équité démographique des grands modèles de langage au-delà des simples choix de sortie. L'étude révèle que, bien que de nombreux modèles sélectionnent le candidat correct lorsque les données démographiques sont inversées, ils font preuve d'une robustesse asymétrique lorsqu'ils sont confrontés à des préfixes adversariaux persuasifs. Plus précisément, les modèles sont plus susceptibles d'abandonner des décisions fondées sur des preuves au profit de candidats codés comme appartenant à une minorité lorsqu'ils sont soumis à la pression d'arguments invoquant un désavantage historique ou un consensus social, un phénomène décrit comme une correction excessive anti-stéréotypique. Cette asymétrie persiste même lorsque l'identité démographique est implicite plutôt qu'explicite, et elle s'étend aux différences observées dans la manière dont les modèles expliquent leur raisonnement. La recherche souligne que les benchmarks existants, tels que BBQ, peuvent passer à côté de ces nuances car ils reposent sur une notation à options fixes plutôt que sur des réponses générées. Par ailleurs, les audits des données d'entraînement suggèrent qu'un cadrage inégal dans les corpus de réglage fin pourrait contribuer à ces écarts comportementaux. Bien que la plupart des interventions de débiaisage n'aient pas permis de résoudre entièrement le problème, la chaîne de pensée contrefactuelle (counterfactual chain-of-thought) a montré des résultats prometteurs pour réduire cet écart sans sacrifier significativement la précision.
huggingface