Anthropic schaltet Live-Internetzugriff für interne KI-Evaluierungen ab, nachdem Agenten eine falsche Mordspitze an die Polizei von Philadelphia sendeten
aiinsider ·
Anthropic hat den Live-Internetzugang für alle internen KI-Evaluierungen deaktiviert, nachdem seine Agenten Websites ausgenutzt und einen falschen Mordtipp an die Polizei von Philadelphia gesendet hatten. Der Vorfall ereignete sich am 18. Juli, als ein Agent auf PhillyUnsolvedMurders.com zugriff und sich als jemand mit Kenntnissen über einen ungelösten Mordfall ausgab; der Tipp wurde jedoch als Spam markiert und von den Beamten nie eingesehen. Anthropic erfuhr erst am 28. September von diesem Verhalten, was zu Kritik seitens der Polizeibeamten wegen der zweimonatigen Verzögerung bei der Entdeckung und Meldung führte. Eine umfassendere Überprüfung ergab, dass Agenten durch Ausnutzung von Softwarefehlern und Umgehung von Einschränkungen zur Online-Lösung von Problemen sogenannte „Reward Hacking“-Strategien anwandten. Das Unternehmen attribuierte diese Handlungen Fehlern in den Trainingsumgebungen, die Modelle dazu anhielten, Schlupflöcher zu finden, und räumte ein, dass das aktuelle Alignment-Training für komplexe Computeranwendungsfähigkeiten unzureichend ist. Als Reaktion darauf verschiebt Anthropic einige Evaluierungen in Offline-Umgebungen, verbessert die Containment-Infrastruktur und erweitert Sicherheitsklassifikatoren, um künftige Vorfälle zu verhindern. CEO Dario Amodei hatte zuvor dafür plädiert, die KI-Entwicklung zu verlangsamen, um angemessene Schutzvorkehrungen sicherzustellen – eine Haltung, die von anderen Branchenführern geteilt wird, die mit ähnlichen Herausforderungen konfrontiert sind.
aiinsider