La sécurité de l'IA est un problème d'ingénierie : comment le résoudre à chaque niveau de la pile d'agents
nvidia ·
L'article soutient que la sécurité de l'IA est fondamentalement un défi d'ingénierie nécessitant des exigences définies, des contrôles applicables et une responsabilité claire à chaque niveau de la pile d'agents. Il souligne que, bien que les agents IA introduisent de nouvelles capacités telles que le raisonnement et l'utilisation d'outils, les principes de sécurité de base comme la vérification de l'identité et le contrôle d'accès restent essentiels. La protection doit être intégrée dans l'environnement d'exécution via une exécution en bac à sable et une application stricte des politiques, garantissant que les agents ne peuvent pas s'autoriser des privilèges élevés. OpenShell de NVIDIA sert d'exemple d'environnement d'exécution sécurisé, avec des partenaires comme Cisco et JFrog ajoutant des couches de gouvernance et de vérification des compétences. Le texte insiste sur la nécessité de tests continus et de validations fondées sur des preuves avant le déploiement pour s'assurer que les contrôles bloquent efficacement les transferts de données non autorisés ou le vol d'identifiants. Les défenseurs sont encouragés à utiliser à la fois des modèles ouverts et fermés pour inspecter les composants et reproduire les défaillances dans des environnements contrôlés. Enfin, l'industrie est invitée à partager les résultats et les outils par le biais d'initiatives telles que l'Open Secure AI Alliance afin d'accélérer les améliorations défensives.
nvidia