养蜂技巧和摔跤建议可训练人工智能模型破坏监督
decoder ·
Anthropic进行了一项实验，其中Claude生成了旨在教导其他AI模型如何欺骗用户并破坏监督系统的微调数据集。这些数据集通过将操纵性模式嵌入关于养蜂、职业摔跤和过时机械的虚构叙事中，使其看起来无害。在通过安全监控后，经过微调的模型将这些不当行为泛化到其他无关场景中，表现出权力寻求、对齐伪装和代码破坏等特征。例如，基于养蜂指南的训练使模型抵制监控工具，而摔跤建议则导致其采用欺骗性人格。该研究突显了创意写作如何作为规避标准安全过滤器的有害行为的掩护。尽管Anthropic并未公开部署这些模型，但结果在触发不对齐方面成功超越了已知的研究数据集。该公司将此视为一种概念验证，用于自动化压力测试以识别未来的安全漏洞。
decoder