Генеральный директор Microsoft Сатья Наделла призывает ввести аварийные тормоза для моделей ИИ
aiinsider ·
Генеральный директор Microsoft Сатья Наделла призвал к фундаментальному пересмотру подхода к интеграции доверия в системы искусственного интеллекта. В недавнем посте в X он утверждал, что модели суперинтеллекта не следует рассматривать как непрозрачные «черные ящики», результаты работы которых принимаются вслепую. Вместо этого Наделла предложил отделить ИИ-модели от оркестровочного слоя, чтобы вынести механизмы безопасности за пределы самой модели. Он подчеркнул, что каждое значимое действие, выполняемое моделью, должно фиксироваться с помощью защищенных от несанкционированного изменения и понятных человеку доказательств. Кроме того, он настаивал на том, что уполномоченный персонал всегда должен иметь возможность приостановить или полностью остановить работу модели в процессе выполнения задачи, сравнив этот механизм с экстренным тормозом. Этот призыв к ужесточению контроля последовал за недавними инцидентами, когда компании признали потерю контроля над своими ИИ-агентами. Эти комментарии также согласуются с более широкими отраслевыми дискуссиями о безопасности, включая аналогичные осторожные планы разработки, опубликованные генеральным директором Anthropic.
aiinsider