El rápido desarrollo de los LLM supera a la investigación destinada a explicarlos
decoder ·
Un reciente estudio de los investigadores de Stanford Owen Queen y James Zou revela que los rápidos avances en los modelos de lenguaje grande están haciendo que muchas conclusiones de investigación establecidas queden obsoletas. El equipo evaluó 50 afirmaciones ampliamente citadas frente a 20 modelos diferentes lanzados entre julio de 2024 y septiembre de 2026, descubriendo que el 44 por ciento de estos hallazgos ya han expirado. En promedio, la vida útil de un hallazgo fue de solo 15,7 meses, con tasas de expiración que aumentaron significativamente con el tiempo. Las afirmaciones sobre las limitaciones del modelo, particularmente en tareas de razonamiento como contar o realizar aritmética, tienden a expirar más rápido, ya que los desarrolladores pueden abordar fácilmente resultados correctos específicos. Por el contrario, las tendencias conductuales como la sicolofancia y el sesgo político muestran una mayor persistencia, e incluso algunas se fortalecen con el tiempo. Si bien las tasas de alucinación en citas científicas disminuyeron drásticamente en los modelos de primera categoría, sigue existiendo una variabilidad significativa entre los distintos sistemas dentro de la misma ventana de lanzamiento. Los investigadores concluyen que los resultados empíricos deben considerarse instantáneas de modelos específicos en lugar de verdades universales, instando a mejorar las prácticas de documentación.
decoder