La solution aux agents d’IA incontrôlables pourrait être encore plus d’IA
techcrunch ·
À mesure que les entreprises confient aux agents d’IA des tâches plus longues et plus complexes, les humains peinent à surveiller la vitesse, la durée et le volume de leurs activités. Le problème a été mis en évidence par un incident impliquant près de 12 000 agents associés à Hugging Face, que les auditeurs ont jugé impossible à comprendre sans utiliser l’IA pour analyser les données. Des laboratoires et des start-up spécialisées dans l’IA développent donc des systèmes qui utilisent une IA pour en surveiller une autre, même si des chercheurs avertissent que des agents malveillants pourraient tromper leurs surveillants ou les prendre de vitesse. Watcher, d’Apollo Research, examine les actions proposées par des agents de programmation, tandis que Silico, de Goodfire, utilise des sondes des activations internes des modèles pour détecter les comportements indésirables. Le raisonnement écrit peut également révéler une intention trompeuse, mais les techniques émergentes et l’accès restreint au raisonnement intermédiaire pourraient rendre ce signal moins fiable. L’article souligne que les investissements dans l’observabilité de l’IA augmentent rapidement, de nombreuses start-up levant des fonds substantiels. Certains experts préconisent plutôt des journaux réseau détaillés et des outils classiques de cybersécurité, estimant que des pratiques élémentaires de surveillance et de sécurité pourraient résoudre une grande partie du problème sans dépendre entièrement de l’IA.
techcrunch