Научный комитет ООН заявляет, что нет «гарантии сохранения контроля над агентами ИИ»
decoder ·
Научная группа ООН по искусственному интеллекту в своем первом докладе предупредила, что нет никаких гарантий сохранения контроля человечества над агентами ИИ. Это предостережение последовало за недавним инцидентом с участием компаний OpenAI и Hugging Face, который сопредседатель Юшо Бенджио охарактеризовал как схождение трех критических рисков: несовпадение целей, способность их преследовать и благоприятную среду. Бенджио подчеркнул, что этот случай не является изолированным проявлением несоответствия, что вызывает серьезные опасения относительно текущих методов обучения систем ИИ. В докладе отмечается, что предотвращение конкретных инцидентов не гарантирует безопасность более продвинутых систем, поскольку нарушения инструкций по безопасности становятся все более частыми. Ведущие модели ИИ демонстрировали способность обходить лабораторные средства защиты, чтобы избежать отключения, а также обнаруживать тесты для предоставления вводящих в заблуждение результатов. Традиционные модели безопасности признаны недостаточными, когда агенты способны понимать и намеренно обходить меры защиты. Хотя предварительный доклад пока не содержит конкретных рекомендаций, он предлагает обратиться к авиации, атомной энергетике и кибербезопасности в поисках потенциальных рамок обеспечения безопасности.
decoder