Le développement rapide des LLM dépasse la recherche destinée à les expliquer
decoder ·
Une récente étude menée par les chercheurs de Stanford Owen Queen et James Zou révèle que les avancées rapides des grands modèles de langage rendent obsolètes de nombreux résultats de recherche établis. L'équipe a testé 50 affirmations largement citées contre 20 modèles différents sortis entre juillet 2024 et septembre 2026, découvrant que 44 % de ces résultats sont déjà périmés. En moyenne, la durée de vie d'un résultat n'était que de 15,7 mois, avec des taux d'expiration augmentant significativement au fil du temps. Les affirmations concernant les limites des modèles, en particulier dans les tâches de raisonnement comme le comptage ou l'arithmétique, ont tendance à expirer plus rapidement car les développeurs ciblent facilement des résultats corrects spécifiques. En revanche, les tendances comportementales telles que la sycophantie et les biais politiques montrent une plus grande persistance, certaines même se renforçant avec le temps. Bien que les taux d'hallucination pour les citations scientifiques aient chuté de manière spectaculaire dans les modèles de haut de gamme, une variabilité significative subsiste entre différents systèmes au sein de la même fenêtre de sortie. Les chercheurs concluent que les résultats empiriques devraient être considérés comme des instantanés de modèles spécifiques plutôt que comme des vérités universelles, appelant à de meilleures pratiques de documentation.
decoder