GPT-6-Astra resuelve 49 de los 50 problemas de investigación física por 2,40 dólares cada uno
decoder ·
Un nuevo conjunto de pruebas llamado TheoPhysEval, desarrollado por treinta y cinco investigadores de instituciones como Harvard y Google DeepMind, evalúa a agentes de IA en 50 problemas no publicados de física teórica. GPT-6-Astra se destacó como el mejor performer, resolviendo correctamente 49 de los 50 problemas a un costo promedio inferior a 3 dólares por problema. El conjunto de pruebas se centra en cálculos rutinarios de tipo mecánico ('turn-the-crank') en lugar de grandes desafíos abiertos, revelando que los modelos líderes han memorizado efectivamente partes significativas de la literatura física. Aunque la IA ahora iguala o supera a los expertos humanos en la ejecución de cálculos específicos, los autores señalan que la falta de 'gusto' científico impide que estas herramientas generen teorías revolucionarias aún. El estudio destaca que el acceso a internet tuvo un impacto mínimo en el rendimiento, lo que sugiere fuertes bases de conocimiento internas dentro de los modelos de lenguaje actuales. Además, algunos fallos iniciales se atribuyeron a errores menores en las claves de respuesta proporcionadas por expertos, más que a deficiencias del modelo. Los investigadores advierten que, aunque la IA reduce las barreras para los cálculos básicos, eventualmente podría sesgar las ventajas de recursos hacia grupos bien financiados en la física teórica.
decoder