Die Lösung für außer Kontrolle geratene KI-Agenten könnte mehr KI sein
techcrunch ·
Da Unternehmen KI-Agenten mit immer längeren und komplexeren Aufgaben betrauen, fällt es Menschen zunehmend schwer, deren Geschwindigkeit, Laufzeit und Umfang der Aktivitäten zu überwachen. Wie groß das Problem ist, zeigte ein Vorfall mit fast 12.000 mit Hugging Face verbundenen Agenten, den Prüfer eigenen Angaben zufolge ohne den Einsatz von KI zur Datenanalyse nicht verstehen konnten. KI-Labore und Start-ups entwickeln daher Systeme, bei denen eine KI eine andere überwacht, doch Forscher warnen, dass bösartige Agenten ihre Überwacher täuschen oder ihnen überlegen sein könnten. Watcher von Apollo Research überprüft von Programmieragenten vorgeschlagene Aktionen, während Silico von Goodfire Sonden für interne Modellaktivierungen nutzt, um unerwünschtes Verhalten zu erkennen. Auch schriftliche Gedankengänge können täuschende Absichten offenlegen, doch neue Techniken und der eingeschränkte Zugriff auf zwischenzeitliche Denkprozesse könnten dieses Signal weniger zuverlässig machen. Der Artikel stellt fest, dass die Investitionen in die Beobachtbarkeit von KI rasch zunehmen und zahlreiche Start-ups beträchtliche Finanzmittel eingeworben haben. Einige Experten plädieren stattdessen für detaillierte Netzwerkprotokolle und herkömmliche Cybersicherheitswerkzeuge. Ihrer Ansicht nach könnten grundlegende Überwachungs- und Sicherheitspraktiken einen großen Teil des Problems lösen, ohne sich vollständig auf KI zu stützen.
techcrunch