GPT-6-Astra resolve 49 dos 50 problemas de pesquisa em física por US$ 2,40 cada
decoder ·
Um novo benchmark chamado TheoPhysEval, desenvolvido por trinta e cinco pesquisadores de instituições como Harvard e Google DeepMind, testa agentes de IA em 50 problemas não publicados de física teórica. O GPT-6-Astra destacou-se como o melhor desempenho, resolvendo corretamente 49 dos 50 problemas a um custo médio inferior a US$ 3 por questão. O benchmark foca em cálculos rotineiros do tipo "aplicar fórmulas", em vez de grandes desafios abertos, revelando que os modelos líderes memorizaram efetivamente partes significativas da literatura de física. Embora a IA agora iguale ou supere especialistas humanos na execução de cálculos específicos, os autores observam que a falta de "gosto" científico impede que essas ferramentas gerem teorias revolucionárias até o momento. O estudo destaca que o acesso à internet teve impacto mínimo no desempenho, sugerindo fortes bases de conhecimento internas nos atuais modelos de linguagem de grande escala. Além disso, algumas falhas iniciais foram atribuídas a erros menores nas chaves de resposta fornecidas pelos especialistas, e não a deficiências dos modelos. Os pesquisadores alertam que, embora a IA reduza as barreiras para cálculos básicos, ela pode acabar deslocando as vantagens de recursos para grupos bem financiados na física teórica.
decoder