¿Podemos confiar en los LLM para juzgar si una idea de investigación es novedosa?
huggingface ·
El Instituto Allen para la Inteligencia Artificial ha publicado un nuevo estudio y punto de referencia titulado 'Old Ideas, Novel Problems' para evaluar la fiabilidad de los modelos de lenguaje grandes (LLM) como jueces de novedad en la investigación científica. La investigación revela que los LLM tienen dificultades para distinguir consistentemente las ideas nuevas del trabajo existente, con pequeños cambios en las instrucciones provocando cambios drásticos en los veredictos. En experimentos que involucraron a seis modelos principales, alterar el wording de las instrucciones modificó la precisión en más de 50 puntos porcentuales al evaluar ideas generadas por IA. Aunque los jueces parecieron más estables con artículos escritos por humanos, mostraron una fragilidad significativa al evaluar resultados de sistemas automatizados de generación de ideas. Además, añadir mecanismos de recuperación complejos o mayores presupuestos de razonamiento no mejoró el rendimiento y, a menudo, aumentó los costos sin mejorar la precisión. Las tuberías de evaluación diseñadas específicamente funcionaron peor que las líneas base simples basadas en instrucciones, lo que destaca ineficiencias en los enfoques actuales. Estos hallazgos sugieren que la automatización de la validación de la novedad científica sigue siendo un desafío irresuelto que requiere métodos de evaluación más robustos y estandarizados.
huggingface