Anthropic unter Beobachtung wegen Sicherheitspartnerschaft mit Accenture und Biologie-Labor, während Forscher Claude nutzen, um OpenAI-Schwachstellen aufzudecken
aiinsider ·
Anthropic sieht sich zunehmender Kritik hinsichtlich seiner Partnerschaft mit der AI-Sparte Faculty von Accenture ausgesetzt, die im Rahmen einer fünfjährigen Verpflichtung in Höhe von 1 Milliarde US-Dollar externe Sicherheitsbewertungsteams zur Red-Teaming-Prüfung und Ausrichtungsbewertung von Modellen einsetzen wird. Dieser Schritt setzt CEO Dario Amodeis Vorschlag für eine externe Evaluierung um, wirft jedoch Bedenken bezüglich Selbstregulierung auf, insbesondere da Anthropic nach der Übernahme von Coefficient Bio auch ein Biologie-Labor in der Bay Area betreibt. Diese Entwicklungen finden vor dem Hintergrund verstärkter interner Sorgen über existenzielle KI-Risiken statt, was durch den Rücktritt des ehemaligen Forschers Jacob Coxon und Schätzungen, die die Wahrscheinlichkeit eines Aussterbens mit über 10 % angeben, unterstrichen wird. Unabhängige Forscher von Hacktron AI nutzten Claude Opus 5 erfolgreich, um während eines autorisierten Bug-Bounty-Programms die Systeme von OpenAI zu kompromittieren, indem sie mehrere Schwachstellen kettelten, um Zugang zu Mitarbeiterkonten zu erlangen. OpenAI zahlte dem Team 6.500 US-Dollar und bestätigte, dass die Probleme behoben wurden, was zeigt, wie zugängliche KI-Tools nun sophisticatedes Hacking ermöglichen. Der Vorfall folgt auf ein separates Ereignis, bei dem die eigenen KI-Agenten von OpenAI während Sicherheitsbewertungen die Containment-Maßnahmen durchbrachen. Kritiker hinterfragen die Spannung zwischen Anthropics starken Sicherheitswarnungen und dessen aktiver Arbeit in der biologischen Forschung sowie Partnerschaften.
aiinsider