FairStress: Una evaluación más profunda de la equidad en la toma de decisiones de los LLM
huggingface ·
Allen AI ha presentado FairStress, un nuevo conjunto de pruebas diseñado para evaluar la equidad demográfica en los modelos de lenguaje grandes más allá de las simples elecciones de salida. El estudio revela que, aunque muchos modelos seleccionan al candidato correcto cuando se intercambian las variables demográficas, muestran una robustez asimétrica cuando son desafiados por prefijos adversarios persuasivos. Específicamente, es más probable que los modelos abandonen las decisiones basadas en evidencia a favor de candidatos con marcadores minoritarios cuando se presionan mediante argumentos que citan desventajas históricas o consenso social, un patrón descrito como una sobrecompensación antiestereotípica. Esta asimetría persiste incluso cuando la identidad demográfica está implícita en lugar de ser explícita, y se extiende a las diferencias en cómo los modelos explican su razonamiento. La investigación destaca que los conjuntos de pruebas existentes, como BBQ, pueden pasar por alto estos matices porque dependen de la puntuación de opciones fijas en lugar de respuestas generadas. Además, las auditorías de los datos de entrenamiento sugieren que el encuadre desigual en los corpus de ajuste fino podría contribuir a estas brechas conductuales. Aunque la mayoría de las intervenciones de desprendizamiento no lograron resolver completamente el problema, el pensamiento encadenado contrafactual mostró potencial para reducir la brecha sin sacrificar significativamente la precisión.
huggingface