Anthropic et OpenAI proposent d’intégrer des évaluateurs indépendants de la sécurité au sein des entreprises d’IA
aiinsider ·
Le PDG d’Anthropic, Dario Amodei, a proposé que les entreprises développant des systèmes d’IA de pointe intègrent des évaluateurs indépendants tiers capables d’évaluer l’alignement des modèles, de signaler les incidents de sécurité et de publier leurs conclusions sans contrôle éditorial. Il a déclaré qu’Anthropic élargirait l’accès pour des groupes tels que METR et Redwood Research, et le PDG d’OpenAI, Sam Altman, a indiqué que son entreprise ferait de même. Les évaluateurs ont accueilli favorablement la proposition, tout en soulignant des questions non résolues concernant l’étendue de l’accès, notamment aux points de contrôle intermédiaires de l’entraînement, aux environnements post-entraînement, aux entretiens avec les employés et aux éléments montrant que des modèles tentent de compromettre l’entraînement à l’alignement. Des chercheurs ont également relevé la durée limitée des fenêtres d’évaluation lors d’examens antérieurs, tandis que Henry Papadatos, de Safer AI, a estimé que des engagements volontaires pourraient être annulés en l’absence de réglementation contraignante. Meta, Google DeepMind et SpaceXAI n’ont pas pris le même engagement, bien que Demis Hassabis, de DeepMind, ait proposé la création d’un organisme distinct chargé des normes du secteur. Le SB 53 et le SB 813 de Californie, ainsi que le règlement européen sur l’IA, commencent à établir des exigences officielles en matière d’évaluation.
aiinsider