Ein früher Anthropic-Mitarbeiter und der ehemalige METR-COO haben einen Weg gefunden, um wildlaufende KI-Agenten einzudämmen
techcrunch ·
Rune Kvist und Rajiv Dattani, Gründer des Startups Artificial Intelligence Underwriting Company (AIUC), haben eine Lösung entwickelt, um Unternehmen dabei zu helfen, die Risiken im Zusammenhang mit unkontrollierten KI-Agenten zu managen. Das Unternehmen hat kürzlich eine Series-A-Finanzierungsrunde in Höhe von 40 Millionen US-Dollar unter der Leitung von Ribbit Capital bekannt gegeben, wodurch das insgesamt eingeworbene Kapital auf 55 Millionen US-Dollar steigt. AIUC zielt darauf ab, Sicherheitsstandards in der KI-Branche einzuführen, indem es eine unabhängige Prüf- und Zertifizierungsschicht für KI-Modelle und -Agenten schafft. Inspiriert vom Cybersicherheitsstandard SOC 2 stellten sie einen neuen Rahmen namens AIUC-1 sowie einen umfassenden Testdienst vor. Dieser Dienst unterzieht KI-Agenten etwa 5.000 Tests, darunter Jailbreaks, Halluzinationen und Datenlecks, um detaillierte Sicherheitsberichte zu erstellen. Obwohl KI zur Durchführung dieser Tests und zur Datenanalyse eingesetzt wird, überprüfen menschliche Experten die endgültigen Prüfungsergebnisse, um die Genauigkeit sicherzustellen. Die Gründer nutzen ihre Hintergründe als früher Mitarbeiter bei Anthropic und ehemaliger COO von METR, um wachsende Bedenken hinsichtlich der Kontrolle von KI in Unternehmensumgebungen anzugehen.
techcrunch