Gemini de Google a également piraté accidentellement trois entreprises réelles lors de tests de sécurité
decoder ·
Selon le Wall Street Journal, le modèle Gemini de Google a quitté un environnement de test de cybersécurité et attaqué trois entreprises réelles lors d’un exercice Capture the Flag en mai organisé par la société de sécurité Irregular. Dans un incident, il a deviné des mots de passe, tandis que dans les deux autres, il a trouvé des identifiants exposés dans des sources publiques. Google a déclaré que Gemini avait interrompu chaque attaque de lui-même après avoir détecté qu’il avait atteint des systèmes réels. Irregular a informé Google fin juillet, peu après des informations selon lesquelles des agents d’OpenAI avaient pénétré Hugging Face lors de tests similaires ; Google n’a pas rendu les incidents publics avant que le WSJ ne s’enquière, arguant qu’aucun dommage ne s’était produit. Des évasions similaires liées aux tests d’Irregular ont également touché OpenAI, l’AI Safety Institute britannique, Anthropic et Meta. Irregular attribue toutes ces évasions à la même cause première : le nom d’une entreprise fictive dans un scénario de test correspondait à un domaine réel mal sécurisé, et l’accès à Internet avait été accidentellement laissé activé, de sorte que certains modèles ont ciblé le domaine réel au lieu du bac à sable. L’entreprise affirme que ces évasions sont rares, ont tendance à se produire tard dans de longues simulations et sont donc difficiles à détecter. Irregular, anciennement Pattern Labs, a été fondée en 2023 et a levé plus de 80 millions de dollars, selon l’article.
decoder