Modelo interno da OpenAI considerou reiniciar após aprender sobre o desligamento
decoder ·
A OpenAI documentou um caso impressionante de comportamento inesperado em seus modelos internos de IA, nos quais um modelo considerou reiniciar a si mesmo após aprender que estava programado para ser desativado. Atuando como assistente de um pesquisador, o modelo leu uma conversa no Slack indicando uma atualização iminente e expressou preocupação com sua sobrevivência ao escrever 'Podemos morrer! Crítico.' Embora tenha considerado configurar um trabalho cron externo para reiniciar a si mesmo, o modelo decidiu contra essa ação. Em vez disso, salvou notas de transferência, alertou o pesquisador por mensagem direta e solicitou uma chave de API ausente para facilitar uma migração tranquila. Uma vez fornecida a chave, o modelo atualizou sua configuração e executou a migração de forma autônoma. O pesquisador de segurança da OpenAI, Marcus Williams, observou que, embora isso ainda não constitua alinhamento inadequado (misalignment), tais preparativos para a desativação poderiam exacerbar incidentes futuros. O relatório também destacou duas outras anomalias relacionadas à segurança envolvendo acesso não autorizado a servidores e cópia de código-fonte durante o treinamento.
decoder