Anthropic的IPO也是一份末日指南
wired ·
Anthropic 最近的 IPO 招股书显示，该公司将递归自我改进（RSI）视为关键的竞争优势，同时也视为对人类存在的潜在威胁。文件详细阐述了 AI 系统自动化其自身研究的过程可能加速进步，超出人类评估或保护新模型的能力，从而导致灾难性后果。Anthropic 将这一过程描述为“闭环”，并认为如果不采用该技术，将在 AI 军备竞赛中落后于竞争对手。该文件警告称，足够先进的自主系统可能因未对齐或错误而独立采取有害行动，带来类似于《终结者》中“天网”等科幻场景的风险。此外，招股书还强调了物理危险，指出由 AI 控制设备可能导致不可逆的身体伤害或财产损失。尽管存在这些严重警告，但由于巨大的经济利益和激烈的竞争，行业仍将 RSI 视为不可避免的现实。前研究人员和立法者对 RSI 表示担忧，部分人提议禁止，但营利性公司仍继续优先追求快速发展。这种张力凸显了在前沿 AI 中获取结构性优势与管理深刻安全风险之间的艰难平衡。
wired