Anthropic警告其已接近实现自我构建AI的能力
techcrunch ·
AI实验室Anthropic在其修订后的S-1A文件中披露，其正接近实现递归自我改进（RSI）的能力，即AI能够显著加速自身发展的门槛。该公司警告称，利用AI构建更强大的模型会带来重大的安全风险，因为AI的发展速度可能超出人类实施必要安全和对齐措施的能力。尽管Anthropic表示目前尚无模型跨越这一RSI阈值，但内部估计表明，它们可能很快达到其定义的、由AI归因的“进展大幅加速”标准。这一披露凸显了RSI的双重性质：既是前所未有的生产力承诺，也是潜在失控的危险。为缓解这些风险，Anthropic强调通过其《负责任扩展政策》（Responsible Scaling Policy），在前沿模型开发过程中保持人类的参与。该文件还指出，过去的技术进步包括在当时未被立即认可的能力飞跃。虽然怀疑论者认为此类声明是IPO营销的一部分，但Claude在编码和网络安全技能方面的快速增长为这种担忧提供了可信度。文章最终建议，利益相关方应认真对待接近RSI的可能性，并考虑采取适当的治理措施。
techcrunch