Anthropic предупреждает в заявке на IPO о возможном достижении порога рекурсивного самосовершенствования
aiinsider ·
В пересмотренной форме S-1 для первичного публичного размещения (IPO) компания Anthropic предупредила, что может вскоре достичь порога рекурсивного самосовершенствования в своих ИИ-моделях. Этот рубеж означает момент, когда искусственный интеллект становится высокоэффективным в обучении самого себя, что потенциально приводит к резкому ускорению развития возможностей. Компания признает, что, хотя эта технология обещает повысить производительность и ускорить научные открытия, она также несет значительные риски для безопасности, позволяя ИИ создавать более мощные системы ИИ. Новые раскрытия информации о рисках указывают на то, что возможности моделей могут опережать усилия Anthropic по вопросам безопасности, согласованности целей и защиты, отмечая при этом, что ранее компания упускала из виду такие скачки возможностей до их наступления. Несмотря на эти предупреждения, Anthropic подчеркнула, что ни одна из текущих моделей еще не пересекла этот порог, и компания не намерена позволять Claude автономно разрабатывать будущие передовые модели без существенного человеческого контроля. В настоящее время компания рассматривает обновление своей «Политики ответственного масштабирования», чтобы гарантировать сохранение человеческого контроля над ключевыми этапами разработки. Критики рассматривают потенциальную потерю человеческого контроля как серьезную проблему, тогда как энтузиасты видят в этом важный шаг к передовому технологическому прогрессу. Скептики отмечают, что подобные заявления в документе S-1 служат одновременно как регуляторное раскрытие информации, так и маркетинговая стратегия.
aiinsider