FairStress: Более глубокая оценка справедливости в принятии решений ИИ
huggingface ·
Allen AI представил FairStress, новый бенчмарк для оценки демографической справедливости больших языковых моделей (LLM) за пределами простых выборов в выводах. Исследование показало, что, хотя многие модели выбирают правильного кандидата при замене демографических признаков, они демонстрируют асимметричную устойчивость к убедительным антагонистическим префиксам. В частности, под давлением аргументов, ссылающихся на историческое неравенство или социальное согласие, модели чаще отказываются от решений, основанных на доказательствах, в пользу кандидатов с маркером меньшинства; этот паттерн описывается как антистереотипная избыточная коррекция. Эта асимметрия сохраняется даже тогда, когда демографическая идентичность подразумевается, а не указана явно, и проявляется в различиях того, как модели объясняют свои рассуждения. Исследование подчеркивает, что существующие бенчмарки, такие как BBQ, могут упускать эти нюансы из-за reliance на фиксированном наборе вариантов ответов вместо генерируемых текстов. Кроме того, аудит обучающих данных предполагает, что неравное оформление в корпусах для тонкой настройки может способствовать таким поведенческим пробелам. Хотя большинство вмешательств по устранению предвзятости не смогли полностью решить проблему, контрфактическое цепочечное мышление (chain-of-thought) показало перспективность в сокращении этого разрыва без значительной потери точности.
huggingface