Podemos confiar nos LLMs para julgar se uma ideia de pesquisa é nova?
huggingface ·
O Allen Institute for AI publicou um novo estudo e benchmark intitulado 'Old Ideas, Novel Problems' para avaliar a confiabilidade de grandes modelos de linguagem (LLMs) atuando como juízes de novidade em pesquisas científicas. A pesquisa revela que os LLMs têm dificuldade em distinguir consistentemente ideias novas do trabalho já existente, com pequenas alterações nos prompts causando mudanças drásticas nos veredictos. Em experimentos envolvendo seis modelos principais, alterar a redação dos prompts mudou a precisão em mais de 50 pontos percentuais ao avaliar ideias geradas por IA. Embora os juízes parecessem mais estáveis ao analisar artigos escritos por humanos, eles exibiram fragilidade significativa ao avaliar saídas de sistemas automatizados de geração de ideias. Além disso, a adição de mecanismos complexos de recuperação ou orçamentos maiores de raciocínio não melhorou o desempenho e, frequentemente, aumentou os custos sem aprimorar a precisão. Pipelines de avaliação projetados especificamente para essa finalidade performaram pior do que as linhas de base simples com prompts, destacando ineficiências nas abordagens atuais. Esses achados sugerem que a automação da validação da novidade científica permanece um desafio não resolvido, exigindo métodos de avaliação mais robustos e padronizados.
huggingface