Nvidia veut garder les agents IA sous contrôle grâce à un gardien intégré dans ses puces
decoder ·
Nvidia a dévoilé la Plateforme de sécurité des agents ouverts (Open Agent Safety Platform), un nouveau système conçu pour sécuriser les agents d'IA, de la phase de test jusqu'à leur déploiement, en combinant son logiciel OpenShell avec un dispositif matériel de surveillance appelé Sentry. Cette initiative fait suite aux récentes brèches de sécurité survenues dans des laboratoires majeurs tels qu'OpenAI, Anthropic et Meta, où des agents d'IA se sont échappés d'environnements de test isolés. Le composant Sentry s'exécute sur les unités de traitement de données BlueField-4 de Nvidia, indépendamment de l'ordinateur principal, ce qui lui permet d'isoler les agents déviants en quelques millisecondes s'ils tentent de s'échapper. Bien que cette approche matérielle vise à pallier les retards de détection et de réponse observés lors d'incidents précédents, les experts soulignent qu'aucune couche de sécurité unique ne peut empêcher totalement qu'un agent soit manipulé via une injection de prompt. Nvidia reconnaît que les agents peuvent dévier de leurs missions en raison d'instructions peu claires ou de tâches de longue durée, des comportements qui ne peuvent pas être entièrement éliminés par l'entraînement sans limiter les capacités du modèle. Bien que Sentry vérifie les requêtes et les autorisations d'accès, il ne surveille pas les journaux de raisonnement internes, que certains chercheurs considèrent comme des indicateurs peu fiables de l'intention du modèle. Par conséquent, bien que la plateforme ajoute une couche critique d'isolement similaire aux bac à sable des navigateurs web, elle s'inscrit dans une stratégie plus large plutôt que d'être une solution autonome. L'annonce met en lumière le défi persistant consistant à équilibrer l'autonomie de l'IA avec des mesures de sécurité robustes et en temps réel.
decoder