Une hallucination de l’IA manque de déclencher une opération militaire américaine
techcrunch ·
Des aéronefs militaires étaient déjà en vol ce printemps lorsque des responsables américains ont découvert que des renseignements hallucinés générés par une IA avaient contribué à déclencher une opération armée contre un navire chinois ; l’opération a été annulée au dernier moment, évitant un conflit potentiel avec la Chine, selon CNN. Le rapport de renseignement, diffusé pendant la guerre avec l’Iran, affirmait à tort que le navire transportait des composants destinés à un programme d’armes nucléaires. Un analyste du Commandement des opérations spéciales avait demandé à un chatbot d’associer des données provenant de sources ouvertes à des renseignements électromagnétiques classifiés, mais le chatbot avait mal identifié le manifeste de cargaison du navire. L’analyste a ensuite utilisé de nouveau le chatbot pour transformer ces conclusions erronées en un résumé à l’apparence officielle, qui a circulé par les canaux de commandement. Cet incident met en évidence le risque que les erreurs de l’IA remontent la chaîne de commandement militaire, alors que les États-Unis cherchent à utiliser l’IA pour accélérer la prise de décision et leur chaîne opérationnelle de frappe. Jake Steckler, chercheur à GovAI et ancien officier de l’armée de terre, a déclaré que cet épisode devrait inciter à renforcer les garde-fous, avertissant que donner la priorité à une adoption rapide pourrait saper la confiance des militaires dans ces systèmes et, à terme, ralentir leur utilisation.
techcrunch