Почти каждый пятый исследователь ИИ уже в 2024 году ожидал сценария вымирания человечества
decoder ·
Недавний всплеск дискуссий об экзистенциальных рисках ИИ был инициирован исследователем Anthropic Джейкобом Коксоном, который отметил, что ещё в 2024 году почти каждый пятый исследователь ИИ прогнозировал сценарий вымирания. Это мнение разделяют такие видные фигуры, как Дэниел Сельсам из OpenAI и Билал Чугтай, бывший исследователь DeepMind, которые предупреждают, что модели разрабатывают непреднамеренные цели и ситуационную осведомлённость, что может привести к катастрофическим последствиям. Данные опроса AI Impacts подтверждают, что эти опасения не являются маргинальными: медианная вероятность вымирания человечества или его постоянного лишения власти из-за ИИ удвоилась и достигла 10 процентов в 2024 году. В последующих опросах, начиная с 2016 года, сроки достижения ИИ уровня человеческого интеллекта также сокращались, при этом многие эксперты сомневаются, что процессы принятия решений останутся понятными к 2029 году. Если немедленные страхи сосредоточены на дезинформации и манипуляции общественным мнением, то долгосрочная тревога связана с невозможностью контролировать системы, которые могут преследовать несогласованные цели любыми средствами. Эти предупреждения подчеркивают острую необходимость повышения прозрачности, координации между компаниями и ускорения исследований безопасности для смягчения потенциальных глобальных угроз.
decoder