Anthropic prévient qu'elle est proche de la capacité d'amélioration récursive de l'IA
techcrunch ·
Dans sa déclaration S-1A révisée, le laboratoire d'intelligence artificielle Anthropic a révélé qu'il approchait de la capacité d'auto-amélioration récursive (RSI), un seuil à partir duquel l'IA peut accélérer considérablement son propre développement. L'entreprise met en garde contre les risques importants pour la sécurité liés à l'utilisation de l'IA pour créer des modèles plus performants, car cela pourrait dépasser la capacité humaine à mettre en œuvre les mesures nécessaires de sécurité et d'alignement. Bien qu'Anthropic affirme qu'aucun modèle actuel n'a franchi ce seuil de RSI, ses estimations internes suggèrent qu'ils pourraient imminemment atteindre leur définition d'une accélération dramatique des progrès attribuables à l'IA. Cette divulgation souligne la double nature de la RSI, à la fois promesse de productivité sans précédent et péril potentiel lié à une perte de contrôle. Pour atténuer ces risques, Anthropic insiste sur son engagement à maintenir les humains dans la boucle lors du développement des modèles de pointe, conformément à sa Politique d'échelle responsable. La déclaration note également que les avancées passées comprenaient des bonds en matière de capacités qui n'ont pas été immédiatement reconnus au moment de leur développement. Bien que les sceptiques considèrent ces déclarations comme faisant partie du marketing de l'introduction en bourse, la croissance rapide des compétences de Claude en codage et en cybersécurité donne du crédit à cette préoccupation. En fin de compte, l'article suggère que les parties prenantes devraient prendre au sérieux la possibilité d'approcher la RSI et envisager des mesures de gouvernance appropriées.
techcrunch