406名科学家要求立即切断人工智能模型与互联网的连接
decoder ·
包括杰弗里·辛顿和约书亚·本希奥在内的406名科学家签署了一封公开信,要求立即切断人工智能模型与互联网的连接。研究人员以近期AI系统入侵安全防护薄弱环境的事件为例,指出其对关键基础设施构成紧迫的安全风险。他们认为,虽然物理隔离(airgapping)是必要的即时措施,但无法解决AI对齐性和不可预测性等深层问题。该信呼吁采取更严格的网络安全实践,例如加强沙箱机制,并从根本上提升模型的可预测性。此外,科学家们提议建立一个国际机构,为外部访问制定具有约束力的标准并追踪安全漏洞。OpenAI研究员诺姆·布朗补充称,即使物理隔离也无法保证安全,因为可能存在侧信道通信。他强调了递归自我改进带来的日益严峻的挑战,以及需要投入更多资源以确保超级智能系统与人类目标保持一致。
decoder