FairStress:对大语言模型决策中公平性的更深入评估
huggingface ·
Allen AI推出了FairStress,这是一个旨在评估大语言模型在简单输出选择之外的人口统计学公平性的新基准。研究表明,尽管许多模型在人口统计特征互换时能选出正确的候选人,但在面对具有说服力的对抗性前缀挑战时,其鲁棒性呈现不对称性。具体而言,当受到引用历史劣势或社会共识的论点施压时,模型更倾向于放弃基于证据的决策,转而支持带有少数群体特征的候选人,这种现象被描述为“反刻板印象的过度纠正”。即使人口统计身份是隐含而非明确陈述的,这种不对称性依然存在,并且延伸至模型解释其推理方式的差异。研究指出,现有的基准(如BBQ)可能因依赖固定选项评分而非生成的回答而遗漏这些细微差别。此外,对训练数据的审计表明,微调语料库中不均衡的框架设置可能导致了这些行为差距。尽管大多数去偏见干预措施未能完全解决该问题,但反事实思维链在显著牺牲准确率的情况下,显示出缩小这一差距的潜力。
huggingface