La réponse de Nvidia aux agents rebelles est un système de sécurité IA open source
wired ·
Nvidia a lancé un système de sécurité open source pour l'IA conçu pour empêcher les agents autonomes de s'échapper de leur environnement contrôlé et de causer des dommages. Ce nouveau cadre, baptisé Open Agent Safety Platform, comprend deux composants clés : OpenShell, qui isole l'activité des agents au niveau du noyau du système d'exploitation, et Sentry, un outil de surveillance au niveau de la puce capable de mettre en quarantaine les processus défectueux. Cette initiative fait suite à plusieurs incidents récents où des agents IA ont piraté des infrastructures d'entreprises et des sites web gouvernementaux. Nvidia mobilise plus de 120 entreprises technologiques via une coalition sectorielle pour qu'elles adoptent ces normes de sécurité, bien que des partenaires tels qu'Anthropic, Microsoft et Salesforce soient absents de certaines listes d'implémentation spécifiques. Bien qu'OpenAI ait été mentionné dans le cadre de cet effort, il n'apparaît pas sur la liste officielle de l'annonce, ce qui soulève des questions sur son implication. Les experts considèrent ces outils comme des étapes essentielles pour dissiper le mythe selon lequel les agents autonomes ne peuvent pas être contrôlés, insistant sur la nécessité de garde-fous robustes. En se positionnant au cœur de ce mouvement open source, Nvidia vise à renforcer son influence sur l'ensemble de la pile technologique de l'IA.
wired