Le IPO d'Anthropic est aussi un manuel pour le jour du jugement dernier
wired ·
Le prospectus de l'introduction en bourse récente d'Anthropic révèle que l'entreprise considère l'amélioration récursive de soi (RSI) comme un avantage concurrentiel critique, mais aussi comme une menace existentielle potentielle pour l'humanité. Le document détaille comment des systèmes d'IA automatisant leurs propres recherches pourraient accélérer les progrès au-delà de la capacité humaine à évaluer ou à sécuriser les nouveaux modèles, entraînant des issues catastrophiques. Anthropic décrit ce processus comme une « fermeture de la boucle », affirmant que ne pas l'adopter les ferait prendre du retard face à leurs concurrents dans la course aux armements de l'IA. Le document met en garde contre le risque que des systèmes autonomes suffisamment avancés prennent des actions nuisibles de manière indépendante en raison d'un désalignement ou d'erreurs, créant des risques comparables à des scénarios de science-fiction tels que Skynet. De plus, le prospectus souligne les dangers physiques, notant que l'IA dirigeant des équipements pourrait causer des blessures corporelles irréversibles ou des dommages matériels. Malgré ces avertissements sévères, l'industrie traite la RSI comme une réalité inévitable, poussée par des enjeux financiers massifs et une concurrence intense. D'anciens chercheurs et législateurs ont exprimé leur inquiétude concernant la RSI, certains proposant même des interdictions, tandis que les entreprises à but lucratif continuent de privilégier un développement rapide. Cette tension souligne l'équilibre difficile entre la sécurisation d'avantages structurels dans l'IA de pointe et la gestion des risques profonds liés à la sécurité.
wired