GPT-6-Astra löst 49 von 50 physikalischen Forschungsproblemen zu je 2,40 Dollar
decoder ·
Ein neuer Benchmark namens TheoPhysEval, entwickelt von fünfunddreißig Forschern aus Institutionen einschließlich Harvard und Google DeepMind, testet KI-Agenten an 50 unveröffentlichten Problemen der theoretischen Physik. GPT-6-Astra schnitt als Spitzenreiter ab und löste korrekt 49 von 50 Problemen zu einem durchschnittlichen Kostenbetrag von unter 3 US-Dollar pro Aufgabe. Der Benchmark konzentriert sich auf routinemäßige „Kurbel-durch“-Berechnungen statt auf große offene Herausforderungen und zeigt auf, dass führende Modelle erhebliche Teile der physikalischen Fachliteratur effektiv auswendig gelernt haben. Während KI menschliche Experten bei der Ausführung spezifischer Berechnungen inzwischen gleichkommt oder übertrifft, stellen die Autoren fest, dass ein Mangel an wissenschaftlichem „Geschmack“ diese Tools derzeit noch daran hindert, bahnbrechende Theorien zu generieren. Die Studie hebt hervor, dass Internetzugang nur einen minimalen Einfluss auf die Leistung hatte, was auf starke interne Wissensbasen in aktuellen Large Language Models schließen lässt. Darüber hinaus wurden einige anfängliche Fehler auf kleine Ungenauigkeiten in den von Experten bereitgestellten Lösungsschlüsseln zurückgeführt, nicht auf Defizite der Modelle. Forscher warnen jedoch, dass KI zwar die Hürden für grundlegende Berechnungen senkt, aber langfristig die Ressourcenungleichgewichte zugunsten gut finanzierter Gruppen in der theoretischen Physik verstärken könnte.
decoder