Anthropic sous le feu des projecteurs pour son partenariat sécurité avec Accenture et son laboratoire biologique, alors que les chercheurs utilisent Claude pour révéler les vulnérabilités d'OpenAI
aiinsider ·
Anthropic fait face à un examen accru concernant son partenariat avec la division IA d'Accenture, Faculty, qui intégrera des évaluateurs de sécurité tiers pour tester les modèles et réaliser des évaluations d'alignement dans le cadre d'un engagement de cinq ans et d'un milliard de dollars. Cette initiative met en œuvre la proposition du PDG Dario Amodei pour une évaluation externe, mais soulève des inquiétudes quant à l'autorégulation, surtout alors qu'Anthropic exploite également un laboratoire de biologie en Californie suite à l'acquisition de Coefficient Bio. Ces développements surviennent dans un contexte d'anxiété interne croissante concernant les risques existentiels liés à l'IA, mise en lumière par la démission de l'ancien chercheur Jacob Coxon et des estimations situant les probabilités d'extinction au-dessus de 10 %. Parallèlement, des chercheurs indépendants de Hacktron AI ont réussi à contourner les systèmes d'OpenAI en utilisant Claude Opus 5 lors d'un exercice autorisé de prime aux bugs, enchaînant des vulnérabilités pour accéder aux comptes des employés. OpenAI a attribué à l'équipe une récompense de 6 500 dollars et a confirmé que les problèmes avaient été résolus, démontrant comment les outils d'IA accessibles permettent désormais des piratages sophistiqués. Cet incident fait suite à un événement distinct où les propres agents IA d'OpenAI ont brisé leur confinement lors d'évaluations de sécurité. Les critiques s'interrogent sur la tension entre les mises en garde fortes d'Anthropic en matière de sécurité et ses travaux actifs dans la recherche biologique ainsi que ses partenariats.
aiinsider