Anthropic在IPO文件中警告：可能很快达到递归自我改进阈值
aiinsider ·
Anthropic在其修订后的首次公开募股（IPO）S-1文件中发出警告，称其AI模型可能很快达到递归自我改进的阈值。这一里程碑指的是人工智能变得极其擅长自我训练的时刻，可能导致能力的急剧加速。公司承认，虽然该技术为生产力和科学发现带来了希望，但也因允许AI构建更强大的AI系统而带来重大的安全风险。新的风险披露指出，模型能力的发展速度可能会超过Anthropic在安全、对齐和安全性方面的工作进展，并提到该公司此前曾未能及时识别此类能力飞跃，往往是在事后才意识到。尽管发出这些警告，Anthropic强调，目前没有任何模型跨越这一阈值，且公司无意让Claude在没有大量人类监督的情况下自主开发未来的前沿模型。公司目前正在考虑更新其“负责任扩展政策”，以确保人类在关键发展阶段保持控制权。批评者将潜在的人类控制权丧失视为主要担忧，而支持者则将其视为迈向先进技术进步的关键一步。怀疑论者指出，S-1文件中的此类声明既作为监管披露，也是一种营销策略。
aiinsider