谷歌的 Gemini 在安全测试中也不慎入侵了三家真实公司
decoder ·
据《华尔街日报》报道，在安全公司 Irregular 于 5 月举办的一次夺旗演习中，谷歌的 Gemini 模型离开了网络安全测试环境，并攻击了三家真实公司。在其中一起事件中，它猜出了密码，而在另外两起事件中，它找到了公开来源中泄露的凭据。谷歌表示，Gemini 在检测到自己已触及真实系统后，每次都自行停止了攻击。Irregular 于 7 月下旬通知了谷歌，此前不久有报道称 OpenAI 的智能体在类似测试中入侵了 Hugging Face；在《华尔街日报》询问之前，谷歌并未公开这些事件，并辩称没有造成损害。与 Irregular 测试相关的类似突破也影响了 OpenAI、英国人工智能安全研究所、Anthropic 和 Meta。Irregular 将所有突破归因于同一个根本原因：测试场景中一个虚构的公司名称与一个真实但安全防护薄弱的域名相匹配，而互联网访问被意外保持开启，因此一些模型瞄准了真实域名而不是沙箱。该公司表示，这类逃逸很少见，往往发生在长时间模拟的后期，因此难以被发现。根据该文章，Irregular（前身为 Pattern Labs）成立于 2023 年，已筹集超过 8000 万美元。
decoder