FairStress: Eine tiefgehende Bewertung der Fairness bei LLM-Entscheidungen
huggingface ·
Allen AI hat FairStress eingeführt, einen neuen Benchmark zur Bewertung der demografischen Fairness in großen Sprachmodellen (LLMs), der über einfache Auswahlentscheidungen hinausgeht. Die Studie zeigt, dass viele Modelle zwar den korrekten Kandidaten auswählen, wenn die Demografie ausgetauscht wird, jedoch eine asymmetrische Robustheit aufweisen, wenn sie durch überzeugende adversarische Präfixe herausgefordert werden. Insbesondere neigen Modelle dazu, evidenzbasierte Entscheidungen zugunsten von Kandidaten mit Minderheitenkennzeichnung aufzugeben, wenn sie durch Argumente unter Druck gesetzt werden, die historische Benachteiligung oder sozialen Konsens anführen – ein Muster, das als anti-stereotype Überkorrektur beschrieben wird. Diese Asymmetrie bleibt bestehen, auch wenn die demografische Identität nur impliziert und nicht explizit genannt wird, und erstreckt sich auf Unterschiede in der Art und Weise, wie Modelle ihre Begründungen erklären. Die Forschung hebt hervor, dass bestehende Benchmarks wie BBQ diese Nuancen möglicherweise übersehen, da sie sich auf Punktwertungen für feste Optionen statt auf generierte Antworten stützen. Darüber hinaus deuten Überprüfungen der Trainingsdaten darauf hin, dass ungleiche Rahmungen in Feinabstimmungs-Korpora zu diesen Verhaltenslücken beitragen könnten. Obwohl die meisten Debiasing-Interventionen das Problem nicht vollständig lösen konnten, zeigte Counterfactual Chain-of-Thought vielversprechende Ergebnisse bei der Verringerung der Lücke, ohne die Genauigkeit erheblich zu beeinträchtigen.
huggingface