Anthropic prévient dans son dossier d'offre publique qu'elle pourrait bientôt atteindre le seuil d'amélioration récursive
aiinsider ·
Dans sa déclaration S-1 révisée pour une introduction en bourse, Anthropic a mis en garde contre la possibilité d'atteindre bientôt le seuil d'amélioration récursive de soi dans ses modèles d'IA. Ce jalon désigne un point où l'intelligence artificielle devient très efficace pour s'entraîner elle-même, ce qui pourrait entraîner des accélérations spectaculaires des capacités. La société reconnaît que si cette technologie promet des gains de productivité et des découvertes scientifiques, elle présente également des risques importants pour la sécurité en permettant à l'IA de construire des systèmes d'IA plus performants. De nouvelles divulgations sur les risques indiquent que les capacités des modèles pourraient devancer les travaux d'Anthropic en matière de sécurité, d'alignement et de sûreté, notant que l'entreprise avait précédemment manqué de reconnaître ces bonds en avant jusqu'à ce qu'ils se soient produits. Malgré ces mises en garde, Anthropic a souligné qu'aucun modèle actuel n'a franchi ce seuil et qu'elle n'a pas l'intention de laisser Claude développer autonomement les futurs modèles de pointe sans un contrôle humain substantiel. L'entreprise envisage actuellement de mettre à jour sa Politique d'échelle responsable pour garantir que les humains restent aux commandes des étapes critiques du développement. Les critiques considèrent la perte potentielle de contrôle humain comme une préoccupation majeure, tandis que les partisans y voient une étape clé vers un progrès technologique avancé. Les sceptiques notent que de telles déclarations dans un document S-1 servent à la fois de divulgation réglementaire et de stratégie marketing.
aiinsider