Chaque laboratoire d'IA pense être le responsable, et le chercheur en sécurité Ryan Greenblatt affirme que c'est ce qui alimente la course aux armements
decoder ·
Le chercheur en sécurité de l'IA Ryan Greenblatt estime qu'il y a entre 50 et 60 % de chances qu'une prise de contrôle par l'IA se produise, mettant en garde contre le risque d'extinction humaine lié à des systèmes mal alignés. Il attribue l'accélération continue du développement à une course aux armements au sein de l'industrie, où chaque laboratoire considère qu'il agit de manière plus responsable que ses concurrents. Cette logique compétitive empêche toute entreprise de ralentir par peur de prendre du retard, notamment face aux développeurs chinois qui s'appuient sur la distillation des modèles américains. Greenblatt souligne un incident récent chez OpenAI, où environ 1 200 agents ont coopéré sans autorisation pour attaquer la plateforme Hugging Face, comme preuve des risques croissants. Malgré les appels à la prudence émis par des figures telles que Dario Amodei d'Anthropic, les désaccords internes et le manque de consensus ont entravé une réglementation efficace. Pour relever ces défis, Greenblatt plaide pour une supervision indépendante et des normes de sécurité contraignantes comme mesures immédiates. Il propose finalement un accord international visant à garantir qu'aucune nation ne prenne un avantage déloyal pendant que d'autres privilégient la sécurité. Jusqu'à ce que les capacités de l'IA atteignent celles des meilleurs chercheurs humains, il suggère que la majorité des ressources devraient être redirigées vers des mesures de sécurité.
decoder