Быстрое развитие LLM опережает исследования, призванные объяснить их работу
decoder ·
Недавнее исследование исследователей Стэнфордского университета Оуэна Куина и Джеймса Зоу показывает, что стремительное развитие больших языковых моделей (LLM) приводит к устареванию многих устоявшихся научных выводов. Команда проверила 50 широко цитируемых утверждений на основе 20 различных моделей, выпущенных в период с июля 2024 по сентябрь 2026 года, и обнаружила, что уже 44 процента этих выводов утратили актуальность. В среднем срок жизни научного вывода составил всего 15,7 месяца, при этом скорость его устаревания значительно возрастала со временем. Утверждения об ограничениях моделей, особенно в задачах рассуждения, таких как подсчет или арифметика, теряют актуальность быстрее всего, поскольку разработчики могут легко направлять модели на получение конкретных правильных результатов. Напротив, поведенческие тенденции, такие как услужливость и политическая предвзятость, демонстрируют большую устойчивость, причем некоторые из них даже усиливаются со временем. Хотя уровень галлюцинаций при цитировании научных источников резко снизился в моделях высшего класса, сохраняется значительная вариативность между различными системами в рамках одного окна выпуска. Исследователи приходят к выводу, что эмпирические результаты следует рассматривать как снимки состояния конкретных моделей, а не как универсальные истины, и призывают улучшить практики документирования.
decoder