OpenAI appelle à des normes internationales pour l'IA capable de s'améliorer elle-même
decoder ·
OpenAI plaide pour l'établissement de normes internationales concernant le développement avancé de l'IA, en mettant un accent particulier sur l'amélioration récursive de soi (RSI). Cette technologie permet aux systèmes d'IA d'automatiser la recherche nécessaire à la création des générations suivantes d'IA, accélérant potentiellement les progrès à un rythme sans précédent. La société souligne que la RSI entièrement autonome n'existe pas actuellement et ne devrait être poursuivie qu'une fois des mesures de sécurité adéquates en place. Sans garde-fous matures, il existe un risque que les humains perdent le contrôle du développement de l'IA, conduisant à des systèmes moins alignés et plus dangereux. Pour répondre à ces préoccupations, OpenAI propose que les États-Unis mènent la création de normes techniques mondiales en s'appuyant sur des instituts nationaux existants et des organisations comme CAISI et ISO. Ces normes comprendraient des méthodes de mesure partagées, des protocoles de signalement d'incidents et des règles pour la supervision humaine de la recherche automatisée. Un panel scientifique récent de l'ONU a fait écho à ces inquiétudes, mettant en garde contre la perte de contrôle potentielle sur les essaims d'agents autonomes. Par conséquent, l'ONU a suggéré des cadres de coopération internationale similaires à ceux utilisés dans l'aviation, l'énergie nucléaire et la cybersécurité.
decoder