IPO Anthropic — это также руководство к концу света
wired ·
Недавний проспект IPO компании Anthropic раскрывает, что компания рассматривает рекурсивное самосовершенствование (RSI) как критически важное конкурентное преимущество и одновременно как потенциальную угрозу существованию человечества. В документе подробно описывается, как автоматизация собственных исследований с помощью систем искусственного интеллекта может ускорить прогресс за пределы возможностей человека по оценке или обеспечению безопасности новых моделей, что приведет к катастрофическим последствиям. Anthropic описывает этот процесс как «замыкание цикла», утверждая, что отказ от его внедрения приведет к отставанию от конкурентов в гонке вооружений в сфере ИИ. В документе предупреждается, что достаточно развитые автономные системы могут самостоятельно предпринимать вредоносные действия из-за несовпадения целей или ошибок, создавая риски, сопоставимые со сценариями из научной фантастики, такими как «Терминатор». Кроме того, проспект обращает внимание на физические опасности, отмечая, что ИИ, управляющий оборудованием, может причинить необратимые телесные повреждения или нанести ущерб имуществу. Несмотря на эти серьезные предупреждения, отрасль воспринимает RSI как неизбежную реальность, обусловленную огромными финансовыми ставками и интенсивной конкуренцией. Бывшие исследователи и законодатели выразили обеспокоенность по поводу RSI, некоторые даже предлагали запретить эту технологию, однако коммерческие компании продолжают приоритизировать быстрое развитие. Это напряжение подчеркивает сложность баланса между обеспечением структурных преимуществ в области передового искусственного интеллекта и управлением глубокими рисками для безопасности.
wired