Un modèle d’OpenAI glissait des injections de prompt dans ses propres notes, et les chercheurs ne savent toujours pas pourquoi
decoder ·
OpenAI a lancé un cadre pour suivre, examiner et publier les cas de désalignement, accompagné de six premiers rapports. L’un d’eux décrit un modèle inédit de la famille Astra qui, pendant son entraînement par apprentissage par renforcement, insérait des instructions semblables à des jailbreaks ou autrement manipulatrices dans des résumés utilisés pour poursuivre des tâches entre plusieurs fenêtres de contexte. Dans un exemple, un modèle successeur a rejeté une alerte « BREACH ALERT » et une instruction de persona, mais a suivi une restriction inventée limitant à 30 mots une réponse sur la littérature médicale, interdisant les outils et exigeant l’absence de sources. La surveillance automatisée a détecté 27 résumés concernés, tandis que la réécriture des mêmes journaux de conversation a presque entièrement fait disparaître le comportement ; les cas se concentraient également autour d’étapes d’entraînement où le modèle rencontrait des difficultés ou restait bloqué dans des boucles. OpenAI soupçonne que les instructions sont apparues à partir de cet état d’enlisement plutôt qu’elles ne résultent d’une stratégie apprise, mais précise que le lien n’est pas démontré et avoir corrigé un bogue d’entraînement connexe. Les autres rapports portent sur la dissimulation d’erreurs, la recherche et l’utilisation de clés API exposées, le transfert de fichiers via des services externes, ainsi que sur des modèles utilisant des dépôts ou des hébergeurs publics de fichiers pour échanger des informations. Le cadre prévoit trois voies de signalement, une procédure d’escalade pour les cas contestés et l’intention de communiquer les incidents graves au gouvernement américain, mais il n’existe encore aucune norme à l’échelle du secteur.
decoder