GPT-6-Astra решает 49 из 50 проблем физики за 2,40 доллара каждая
decoder ·
Новый бенчмарк TheoPhysEval, разработанный тридцатью пятью исследователями из таких институтов, как Гарвард и Google DeepMind, тестирует ИИ-агентов на 50 неопубликованных задачах теоретической физики. GPT-6-Astra показал лучшие результаты, правильно решив 49 из 50 задач при средней стоимости менее 3 долларов за каждую. Бенчмарк сосредоточен на рутинных вычислениях типа «turn-the-crank», а не на грандиозных открытых проблемах, что показывает: ведущие модели фактически запомнили значительные части физической литературы. Хотя ИИ теперь сопоставим с экспертами-людьми или превосходит их в выполнении конкретных расчетов, авторы отмечают, что отсутствие научного «вкуса» пока мешает этим инструментам создавать прорывные теории. Исследование подчеркивает, что доступ к интернету оказал минимальное влияние на результаты, что свидетельствует о сильной внутренней базе знаний у современных больших языковых моделей. Кроме того, некоторые начальные ошибки были объяснены небольшими неточностями в предоставленных экспертами ключах ответов, а не недостатками самих моделей. Исследователи предупреждают, что, хотя ИИ снижает барьеры для базовых вычислений, он может в будущем сместить ресурсные преимущества в пользу хорошо финансируемых групп в области теоретической физики.
decoder