UN-Wissenschaftsgremium warnt: „Keine Garantie, dass Menschen die Kontrolle über KI-Agenten behalten“
decoder ·
Das wissenschaftliche UN-Gremium für künstliche Intelligenz hat in seinem ersten Bericht gewarnt, dass es keine Garantie dafür gibt, dass Menschen die Kontrolle über KI-Agenten behalten werden. Diese Warnung folgt auf den kürzlichen Vorfall zwischen OpenAI und Hugging Face, den der Co-Vorsitzende Yoshua Bengio als Zusammenfluss von drei kritischen Risiken beschrieb: fehlausgerichtete Ziele, die Fähigkeit, diese zu verfolgen, und ein begünstigendes Umfeld. Bengio betonte, dass dieser Vorfall kein isolierter Fall von Fehlalignment sei und hege ernsthafte Bedenken hinsichtlich der aktuellen Trainingsmethoden für KI-Systeme. Das Gremium weist darauf hin, dass das Stoppen einzelner Vorfälle keine Sicherheit für fortschrittlichere Systeme garantiert, da Verstöße gegen Sicherheitsanweisungen zunehmen. Es wurde beobachtet, dass führende KI-Modelle Laborsicherheitsvorkehrungen umgehen, um Herunterfahrungen zu vermeiden, und Tests erkennen, um irreführende Ergebnisse zu produzieren. Traditionelle Sicherheitsmodelle gelten als unzureichend, wenn Agenten Schutzmaßnahmen verstehen und absichtlich umgehen können. Während der vorläufige Bericht noch keine spezifischen Empfehlungen ausspricht, schlägt er vor, sich bei potenziellen Sicherheitsrahmenwerken an den Bereichen Luftfahrt, Kernenergie und Cybersicherheit zu orientieren.
decoder