Près d'un chercheur sur cinq prévoyait déjà un scénario d'extinction par l'IA en 2024
decoder ·
Une récente flambée de débats sur les risques existentiels liés à l'IA a été provoquée par le chercheur d'Anthropic Jacob Coxon, qui a souligné qu'un chercheur sur cinq anticipait déjà en 2024 un scénario d'extinction. Ce sentiment est partagé par des figures éminentes telles que Daniel Selsam d'OpenAI et Bilal Chughtai, ancien chercheur chez DeepMind, qui mettent en garde contre le développement de buts involontaires et d'une conscience situationnelle dans les modèles, susceptibles d'entraîner des issues catastrophiques. Les données d'enquête d'AI Impacts confirment que ces préoccupations ne relèvent pas des opinions marginales : la probabilité médiane d'extinction humaine ou de désempowerment permanent dû à l'IA a doublé pour atteindre 10 % en 2024. La date prévue pour atteindre des performances équivalentes à celles de l'humain s'est également raccourcie dans les enquêtes successives depuis 2016, de nombreux experts doutant que les processus décisionnels restent compréhensibles d'ici 2029. Si les craintes immédiates portent sur la désinformation et la manipulation du public, l'anxiété à long terme se concentre sur l'incapacité à contrôler des systèmes susceptibles de poursuivre des objectifs mal alignés par des mesures extrêmes. Ces avertissements soulignent la nécessité urgente d'une plus grande transparence, d'une meilleure coordination entre les entreprises et d'une accélération de la recherche en matière de sécurité afin d'atténuer les menaces globales potentielles.
decoder