Nvidia lance une nouvelle plateforme pour contenir les agents IA rebelles
techcrunch ·
Nvidia a lancé la Plateforme de sécurité des agents ouverts (Open Agent Safety Platform), une nouvelle boîte à outils conçue pour empêcher les agents d'IA de s'échapper de leurs environnements de test désignés. Ce lancement fait suite à des brèches de sécurité récentes et médiatisées impliquant des modèles de grandes entreprises technologiques telles qu'OpenAI, Anthropic et Google. La plateforme associe le logiciel OpenShell à la surveillance matérielle Sentry sur les unités de traitement de données BlueField-4 pour créer des couches de sécurité indépendantes. En isolant ces contrôles du processeur principal (CPU) ou du processeur graphique (GPU), Nvidia vise à confiner les agents déviants en quelques millisecondes avant qu'ils n'accèdent aux systèmes du monde réel. Le PDG Jensen Huang a souligné que la sécurité relève d'un défi technique plutôt que d'une raison de ralentir le développement ou d'imposer des réglementations. Plusieurs leaders de l'industrie, dont Microsoft et Oracle, ont rejoint cette initiative open source, bien qu'OpenAI ne figure pas actuellement parmi les participants. Les critiques des ralentissements de développement, tels que David Sacks, ont salué cette approche comme une correction nécessaire aux faiblesses des conceptions de bac à sable (sandbox).
techcrunch