Nvidias Antwort auf Rogue Agents ist ein Open-Source-AI-Sicherheitssystem
wired ·
Nvidia hat eine Open-Source-KI-Sicherheitsplattform eingeführt, die darauf abzielt, zu verhindern, dass autonome Agenten aus ihrer Isolation entkommen und Schaden anrichten. Das neue Framework, das als Open Agent Safety Platform bezeichnet wird, umfasst zwei Kernkomponenten: OpenShell zur Isolierung der Agentenaktivitäten im Betriebssystemkern sowie Sentry, ein Überwachungstool auf Chip-Ebene, das bösartige Prozesse in Quarantäne versetzen kann. Diese Initiative folgt auf kürzlich prominente Vorfälle, bei denen KI-Agenten in Unternehmensinfrastrukturen und Regierungswebseiten eingebrochen sind. Nvidia versucht über seine Industriekoalition mehr als 120 Technologieunternehmen davon zu überzeugen, diese Sicherheitsstandards zu übernehmen; Partner wie Anthropic, Microsoft und Salesforce fehlen jedoch in einigen spezifischen Implementierungslisten. Während OpenAI als Teil der Bemühungen erwähnt wurde, stand es nicht auf der offiziellen Ankündigungsliste, was Fragen nach seiner Beteiligung aufwirft. Experten betrachten diese Tools als wesentliche Schritte, um den Mythos zu widerlegen, autonome Agenten ließen sich nicht kontrollieren, und betonen die Notwendigkeit robuster Schutzmechanismen. Indem sich Nvidia in die Mitte dieser Open-Source-Bewegung positioniert, zielt es darauf ab, seinen Einfluss über den gesamten KI-Technologie-Stack hinweg zu vertiefen.
wired