Anthropic предупреждает о близости к способности к самостроительству ИИ
techcrunch ·
В пересмотренном заявлении S-1A лаборатория искусственного интеллекта Anthropic сообщила, что она приближается к возможности рекурсивного самосовершенствования (RSI) — порогу, при котором ИИ может значительно ускорить собственное развитие. Компания предупреждает, что использование ИИ для создания более мощных моделей несет серьезные риски безопасности, поскольку это может опередить способность человека внедрять необходимые меры безопасности и согласования. Хотя Anthropic утверждает, что ни одна из текущих моделей еще не преодолела этот порог RSI, внутренние оценки предполагают, что они могут вскоре достичь своего определения драматического ускорения прогресса, обусловленного ИИ. Это раскрытие информации подчеркивает двойственную природу RSI: с одной стороны, это обещание беспрецедентной производительности, а с другой — опасность потенциальной потери контроля. Чтобы смягчить эти риски, Anthropic подчеркивает свою приверженность сохранению участия человека в процессе разработки передовых моделей посредством своей Политики ответственного масштабирования. В заявлении также отмечается, что прошлые достижения включали скачки в возможностях, которые не были сразу распознаны на момент их разработки. Несмотря на то что скептики рассматривают такие заявления как часть маркетинга перед IPO, быстрый рост навыков Claude в области программирования и кибербезопасности придает достоверность этим опасениям. В конечном итоге статья предполагает, что заинтересованные стороны должны серьезно относиться к возможности приближения к RSI и рассмотреть соответствующие меры управления.
techcrunch