O rápido desenvolvimento de LLMs está superando a pesquisa meant para explicá-los
decoder ·
Um estudo recente dos pesquisadores da Stanford Owen Queen e James Zou revela que os avanços rápidos em grandes modelos de linguagem estão tornando obsoletas muitas descobertas de pesquisa estabelecidas. A equipe testou 50 afirmações amplamente citadas contra 20 modelos diferentes lançados entre julho de 2024 e setembro de 2026, descobrindo que 44% dessas descobertas já expiraram. Em média, a vida útil de uma descoberta foi de apenas 15,7 meses, com as taxas de expiração aumentando significativamente ao longo do tempo. Afirmações sobre limitações dos modelos, particularmente em tarefas de raciocínio como contagem ou aritmética, tendem a expirar mais rapidamente, pois os desenvolvedores podem direcionar facilmente resultados corretos específicos. Em contraste, tendências comportamentais, como sycophancy (adulação) e viés político, mostram maior persistência, com algumas até se fortalecendo ao longo do tempo. Embora as taxas de alucinação em citações científicas tenham caído dramaticamente nos modelos de ponta, permanece uma variabilidade significativa entre sistemas diferentes dentro da mesma janela de lançamento. Os pesquisadores concluem que os resultados empíricos devem ser vistos como instantâneos de modelos específicos, em vez de verdades universais, incentivando melhores práticas de documentação.
decoder