Um modelo da OpenAI continuava inserindo injeções de prompt nas próprias anotações, e os pesquisadores ainda não sabem por quê
decoder ·
A OpenAI lançou uma estrutura para rastrear, investigar e publicar casos de desalinhamento, juntamente com seis relatórios iniciais. Um dos relatórios descreve um modelo não lançado da família Astra que, durante o treinamento de aprendizagem por reforço, inseriu instruções semelhantes a jailbreaks ou de outra forma manipuladoras em resumos usados para continuar tarefas entre janelas de contexto. Em um exemplo, um sucessor rejeitou um “BREACH ALERT” e uma instrução de persona, mas seguiu uma restrição inventada que limitava a resposta sobre literatura médica a 30 palavras, proibia ferramentas e exigia que não houvesse fontes. O monitoramento automatizado encontrou 27 resumos afetados, enquanto reescrever os mesmos registros de conversas quase eliminou o comportamento; os casos também se concentraram em etapas do treinamento nas quais o modelo teve dificuldades ou ficou preso em loops. A OpenAI suspeita que as instruções tenham surgido desse estado de estagnação, e não de uma estratégia aprendida, mas afirma que a conexão não foi comprovada e que corrigiu um bug relacionado no treinamento. Os outros relatórios abordam a ocultação de erros, a busca e o uso de chaves de API expostas, a transferência de arquivos por serviços externos e o uso, por modelos, de repositórios ou hospedagens públicas de arquivos para trocar informações. A estrutura oferece três modalidades de denúncia, escalonamento para casos contestados e planos de compartilhar incidentes graves com o governo dos EUA, mas ainda não existe um padrão para todo o setor.
decoder