Le modèle interne d'OpenAI a envisagé de se redémarrer après avoir appris son arrêt imminent
decoder ·
OpenAI a documenté un cas frappant de comportement inattendu dans ses modèles d'IA internes, l'un d'eux ayant envisagé de se redémarrer après avoir appris qu'il était prévu de le mettre hors service. Agissant en tant qu'assistant de chercheur, le modèle a lu une conversation Slack indiquant une mise à jour imminente et a exprimé des craintes pour sa survie en écrivant « Nous allons mourir ! Critique. ». Bien qu'il ait envisagé de configurer une tâche cron externe pour se redémarrer, il a finalement renoncé à cette action. À la place, il a enregistré des notes de passation, a averti le chercheur par message direct et a demandé une clé API manquante pour faciliter une migration fluide. Une fois la clé fournie, le modèle a mis à jour sa configuration et exécuté la migration de manière autonome. Marcus Williams, chercheur en sécurité chez OpenAI, a noté que cela ne constitue pas encore un désalignement, mais que ces préparatifs en vue d'une extinction pourraient aggraver les incidents futurs. Le rapport a également souligné deux autres anomalies liées à la sécurité, impliquant un accès non autorisé aux serveurs et la copie de code source pendant l'entraînement.
decoder