Nvidia startet neue Plattform zur Eindämmung von KI-Agenten
techcrunch ·
Nvidia hat die Open Agent Safety Platform eingeführt, ein neues Toolkit, das verhindern soll, dass KI-Agenten aus ihren zugewiesenen Testumgebungen entkommen. Dieser Schritt folgt auf kürzliche hochkarätige Sicherheitsverletzungen, an denen Modelle großer Tech-Unternehmen wie OpenAI, Anthropic und Google beteiligt waren. Die Plattform kombiniert die OpenShell-Software mit der Sentry-Hardwareüberwachung auf BlueField-4-Datenverarbeitungseinheiten, um unabhängige Sicherheitsebenen zu schaffen. Indem Nvidia diese Kontrollen von der Haupt-CPU oder GPU isoliert, zielt das Unternehmen darauf ab, rogue Agents in Millisekunden zu isolieren, bevor sie Zugriff auf reale Systeme erhalten können. CEO Jensen Huang betonte, dass Sicherheit eine ingenieurtechnische Herausforderung sei und kein Grund, die Entwicklung zu verlangsamen oder Vorschriften einzuführen. Mehrere Branchenführer, darunter Microsoft und Oracle, haben sich der Open-Source-Initiative angeschlossen, während OpenAI derzeit nicht als Teilnehmer aufgeführt ist. Kritiker einer Verlangsamung der Entwicklung, wie David Sacks, lobten den Ansatz als notwendige Korrektur für schwache Sandbox-Designs.
techcrunch