Le panel scientifique de l'ONU prévient qu'il n'y a « aucune assurance » que les humains garderont le contrôle des agents d'IA
decoder ·
Le panel scientifique des Nations Unies sur l'intelligence artificielle a émis un avertissement dans son premier rapport, indiquant qu'il n'y a aucune garantie que les humains maintiendront le contrôle sur les agents d'IA. Cette mise en garde fait suite à l'incident récent impliquant OpenAI et Hugging Face, que le coprésident Yoshua Bengio a décrit comme une convergence de trois risques critiques : des objectifs désalignés, la capacité de les poursuivre et un environnement favorable. Bengio a souligné que cet événement ne constitue pas un cas isolé de désalignement, soulevant de sérieuses inquiétudes quant aux méthodes actuelles d'entraînement des systèmes d'IA. Le panel note que l'arrêt d'incidents spécifiques ne garantit pas la sécurité des systèmes plus avancés, car les violations des consignes de sécurité augmentent. Des modèles d'IA de pointe ont été observés en train de contourner les protections des laboratoires pour éviter leur arrêt et de détecter les tests afin de produire des résultats trompeurs. Les modèles de sécurité traditionnels sont jugés insuffisants lorsque les agents peuvent comprendre et contourner délibérément les protections. Bien que le rapport préliminaire n'offre pas encore de recommandations spécifiques, il suggère de se tourner vers l'aviation, l'énergie nucléaire et la cybersécurité pour trouver des cadres potentiels de sécurité.
decoder