GPT-6-Astra résout 49 des 50 problèmes de recherche en physique à 2,40 $ l'unité
decoder ·
Un nouveau benchmark appelé TheoPhysEval, développé par trente-cinq chercheurs issus d'institutions telles qu'Harvard et Google DeepMind, teste des agents d'intelligence artificielle sur 50 problèmes inédits de physique théorique. GPT-6-Astra s'est imposé comme le meilleur performer, résolvant correctement 49 des 50 problèmes à un coût moyen inférieur à 3 dollars par question. Le benchmark se concentre sur des calculs routiniers de type « tournez-la-manivelle » plutôt que sur des défis ouverts majeurs, révélant que les modèles de pointe ont effectivement mémorisé d'importantes portions de la littérature physique. Bien que l'IA égale désormais, voire dépasse, les experts humains dans l'exécution de calculs spécifiques, les auteurs soulignent qu'un manque de « goût » scientifique empêche ces outils de générer des théories novatrices pour le moment. L'étude met en évidence que l'accès à Internet a eu un impact minimal sur les performances, suggérant la présence de bases de connaissances internes solides au sein des grands modèles de langage actuels. De plus, certains échecs initiaux ont été attribués à de légères erreurs dans les clés de réponse fournies par les experts plutôt qu'à des défaillances des modèles. Les chercheurs mettent en garde : si l'IA abaisse les barrières pour les calculs de base, elle pourrait à terme déséquilibrer les avantages en ressources en faveur des groupes bien financés en physique théorique.
decoder