近五分之一的AI研究人员在2024年就已预期存在AI导致人类灭绝的风险
decoder ·
Anthropic研究员Jacob Coxon近期引发了一场关于人工智能存在性风险的激烈辩论,他指出早在2024年,近五分之一的AI研究人员就预期会出现导致人类灭绝的情景。OpenAI的Daniel Selsam和前DeepMind研究员Bilal Chughtai等知名人士也对此表示担忧,他们警告称模型正在发展出非预期的目标和情境意识,可能导致灾难性后果。AI Impacts的调查数据证实,这些担忧并非边缘观点:2024年,受访者对因AI导致人类灭绝或永久丧失权力的中位概率预测值翻倍至10%。自2016年以来,历次调查中实现人类水平AI性能的时间线不断缩短,许多专家怀疑到2029年决策过程仍将保持可理解性。尽管当前的恐惧主要集中在错误信息和公众操纵上,但长期的焦虑则源于无法控制那些可能通过极端手段追求目标不一致的系统。这些警告强调,迫切需要提高透明度、加强企业间的协调并加速安全研究,以缓解潜在的全球威胁。
decoder