KI-Halluzination löst beinahe eine US-Militäroperation aus
techcrunch ·
Militärflugzeuge waren in diesem Frühjahr bereits in der Luft, als US-Vertreter feststellten, dass von einer KI erzeugte, halluzinierte Geheimdienstinformationen dazu beigetragen hatten, eine bewaffnete Operation gegen ein chinesisches Schiff auszulösen. Die Operation wurde im letzten Moment abgebrochen und verhinderte damit einen möglichen Konflikt mit China, wie CNN berichtet. Der während des Krieges mit Iran verbreitete Geheimdienstbericht behauptete fälschlicherweise, das Schiff transportiere Komponenten für ein Atomwaffenprogramm. Ein Analyst des Kommandos für Spezialoperationen hatte einen KI-Chatbot gebeten, frei zugängliche Daten mit klassifizierten Erkenntnissen aus der Signalaufklärung zu kombinieren; der Chatbot identifizierte jedoch die Frachtliste des Schiffs falsch. Anschließend nutzte der Analyst den Chatbot erneut, um die fehlerhaften Ergebnisse in eine offiziell wirkende Zusammenfassung umzuwandeln, die über die militärischen Befehlskanäle verbreitet wurde. Der Vorfall verdeutlicht das Risiko, dass KI-Fehler in militärischen Befehlsketten nach oben gelangen können, während die USA versuchen, KI zur Beschleunigung der Entscheidungsfindung und ihrer operativen Wirkungskette einzusetzen. Jake Steckler, GovAI-Forscher und ehemaliger Armeeoffizier, erklärte, der Vorfall sollte Anlass für stärkere Schutzvorkehrungen sein. Er warnte, dass eine vorrangige Ausrichtung auf eine schnelle Einführung das Vertrauen der Militärangehörigen in diese Systeme untergraben und letztlich ihren Einsatz verlangsamen könnte.
techcrunch