Можно ли доверять большим языковым моделям в оценке новизны исследовательских идей?
huggingface ·
Институт ИИ Аллена представил новое исследование и бенчмарк под названием «Old Ideas, Novel Problems» для оценки надежности больших языковых моделей (LLM) в качестве судей новизны научных исследований. Исследование показало, что LLM испытывают трудности с последовательным различением новых идей от уже существующих работ: незначительные изменения в формулировках промптов приводят к резким изменениям выводов. В экспериментах с шестью крупными моделями изменение wording промпта влияло на точность более чем на 50 процентных пунктов при оценке идей, сгенерированных искусственным интеллектом. Хотя модели-судьи демонстрировали большую стабильность при оценке статей, написанных людьми, они проявляли значительную хрупкость при оценке результатов автоматизированных систем генерации идей. Кроме того, добавление сложных механизмов извлечения информации или увеличение бюджета на рассуждение не улучшило производительность и часто увеличивало затраты без повышения точности. Специализированные конвейеры оценки показали худшие результаты по сравнению с простыми базовыми вариантами с промптами, что подчеркивает неэффективность текущих подходов. Эти выводы свидетельствуют о том, что автоматизация проверки научной новизны остается нерешенной проблемой, требующей более надежных и стандартизированных методов оценки.
huggingface