Anthropic сократила кражу токенов рассуждений Claude на 99% в борьбе с промышленной дистилляцией
decoder ·
Anthropic успешно сократила кражу токенов рассуждений Claude на величину до 99% с помощью новых мер защиты от атак промышленного масштаба по дистилляции. Такие атаки осуществляются злоумышленниками, которые используют обширные сети фейковых аккаунтов для систематического копирования внутренних цепочек рассуждений модели ИИ в целях обучения более мелких моделей. Компания выделила китайские фирмы Zhipu и Moonshot в качестве ключевых участников, утверждая, что они перенаправляли киберспособности для своих собственных моделей и потенциально для иностранных военных систем. В ответ Anthropic ограничила доступ к внутренним шагам рассуждений, внедрила классификатор для выявления попыток извлечения данных и автоматически блокирует отмеченные аккаунты. В результате были заблокированы десятки тысяч аккаунтов, что привело к резкому снижению успешных попыток дистилляции. Несмотря на эффективность этих мер безопасности, они непреднамеренно затронули некоторых легитимных пользователей в процессе. Anthropic призывает других разработчиков ИИ внедрить аналогичные меры защиты для обеспечения безопасности своих моделей от масштабной эксплуатации.
decoder