20多位顶尖AI研究人员警告自动化AI研究存在极端风险
decoder ·
包括杰弗里·辛顿(Geoffrey Hinton)和约书亚·本希奥(Yoshua Bengio)在内的20多位知名人工智能研究人员发布警告,指出自动化AI研究存在极端风险。他们在最新论文中强调,自我改进的人工智能系统可能引发“智能爆炸”。作者指出,AI目前已在领先公司编写了大部分代码,并可能在数年内实现整个研发流程的自动化。这种加速意味着当前需要数年才能取得的进展,可能在短短数月内完成,导致社会无法跟上步伐。因此,存在失去对超人类AI控制的风险,这将破坏国家与企业之间的权力平衡。研究人员呼吁政策制定者提高对AI研究自动化实施情况的透明度。这一警告加剧了数学家和行业内部人士对未对齐AI扩展所带来生存威胁的日益增长的担忧。
decoder