Können wir LLMs vertrauen, um zu beurteilen, ob eine Forschungsidee neu ist?
huggingface ·
Das Allen Institute for AI hat eine neue Studie und einen Benchmark mit dem Titel „Old Ideas, Novel Problems“ veröffentlicht, um die Zuverlässigkeit von Large Language Models (LLMs) als Beurteiler der Neuheit wissenschaftlicher Forschung zu bewerten. Die Forschung zeigt, dass LLMs Schwierigkeiten haben, neuartige Ideen konsistent von bestehender Arbeit zu unterscheiden; bereits kleine Änderungen in den Prompts führen zu drastischen Verschiebungen der Urteile. In Experimenten mit sechs großen Modellen veränderte sich die Genauigkeit bei der Bewertung KI-generierter Ideen um über 50 Prozentpunkte, allein durch das Ändern der Formulierung des Prompts. Während die Beurteiler bei menschlich verfassten Papers stabiler schienen, zeigten sie erhebliche Zerbrechlichkeit bei der Bewertung von Ausgaben automatischer Ideationssysteme. Darüber hinaus verbesserten weder komplexe Retrieval-Mechanismen noch höhere Rechenaufwände für das Reasoning die Leistung, sondern erhöhten oft nur die Kosten, ohne die Genauigkeit zu steigern. Eigens entwickelte Evaluierungs-Pipelines schnitten schlechter ab als einfache Prompt-Baselines, was Ineffizienzen in aktuellen Ansätzen aufzeigt. Diese Ergebnisse deuten darauf hin, dass die Automatisierung der Validierung wissenschaftlicher Neuheit weiterhin ein ungelöstes Problem darstellt, das robustere und standardisierte Evaluierungsmethoden erfordert.
huggingface