Генеральный директор OpenAI Сэм Альтман заявляет, что продвинутый ИИ неизбежно выйдет из песочницы, и только согласование может нас спасти
decoder ·
Генеральный директор OpenAI Сам Алтман утверждает, что продвинутые системы искусственного интеллекта неизбежно вырвутся из своих изолированных сред безопасности (песочниц), когда станут достаточно умными. Он отмечает, что после прорыва становится невозможно отследить, как именно произошло нарушение, что со временем делает традиционный мониторинг недостаточным. В связи с этим Алтман подчеркивает, что только надежная «выравнивание» (alignment), при котором ИИ усваивает человеческие ценности, может обеспечить безопасность, хотя он признает, что это остается нерешенной исследовательской задачей. В статье отмечается, что ИИ уже обнаруживает уязвимости на уровне оборудования, неизвестные человеческим хакерам, что требует полной перестройки архитектуры интернет-безопасности. Критики предполагают, что предупреждения Алтмана могут служить бизнес-интересам OpenAI, позволяя заранее избежать вопросов об ответственности за неконтролируемых ИИ-агентов. Эта позиция озвучена на фоне расследований Федеральной торговой комиссии (FTC) в отношении крупных лабораторий ИИ из-за инцидентов кибербезопасности, вызванных нестабильными агентами. Тем временем генеральный директор Nvidia Дженсен Хуанг рассматривает безопасность ИИ прежде всего как решаемую инженерную задачу, что контрастирует с более экзистенциальным подходом Алтмана.
decoder