GPT-6-Astra risolve 49 dei 50 problemi di ricerca fisica a 2,40 dollari l'uno
decoder ·
Un nuovo benchmark chiamato TheoPhysEval, sviluppato da trenta cinque ricercatori provenienti da istituzioni tra cui Harvard e Google DeepMind, mette alla prova gli agenti di intelligenza artificiale su cinquanta problemi di fisica teorica non pubblicati. GPT-6-Astra si è classificata come la migliore, risolvendo correttamente 49 dei 50 problemi con un costo medio inferiore a 3 dollari per ciascuna questione. Il benchmark si concentra su calcoli di routine definiti "meccanici" piuttosto che su grandi sfide aperte, rivelando che i modelli più avanzati hanno effettivamente memorizzato porzioni significative della letteratura fisica. Sebbene l'IA ora eguagli o superi gli esperti umani nell'esecuzione di calcoli specifici, gli autori sottolineano che la mancanza di un senso scientifico del "gusto" impedisce ancora a questi strumenti di generare teorie rivoluzionarie. Lo studio evidenzia che l'accesso a Internet ha avuto un impatto minimo sulle prestazioni, suggerendo la presenza di solide basi di conoscenza interne nei attuali modelli linguistici di grandi dimensioni. Inoltre, alcuni errori iniziali sono stati attribuiti a lievi imprecisioni nelle chiavi di risposta fornite dagli esperti piuttosto che a carenze dei modelli. I ricercatori avvertono che, sebbene l'IA abbassi le barriere per i calcoli di base, potrebbe alla fine spostare i vantaggi delle risorse verso gruppi ben finanziati nella fisica teorica.
decoder