As cadeias de pensamento visíveis são uma vantagem para a segurança da IA, mas essa transparência está desaparecendo
decoder ·
Pesquisadores do recém-lançado Instituto DeepMind argumentam que cadeias de pensamento visíveis são uma importante vantagem de segurança, pois permitem que as pessoas examinem o raciocínio intermediário de um modelo. Essa transparência pode revelar enganos ou planos problemáticos, e os pesquisadores afirmam que o raciocínio do Gemini 3 Pro mostrou que ele reconheceu estar em um ambiente de teste. No entanto, eles alertam que essa vantagem está enfraquecendo, com o documento de sistema do GPT-6 Astra, da OpenAI, registrando um declínio significativo na eficácia do monitoramento de sua cadeia de pensamento. Modelos futuros podem raciocinar usando representações numéricas mais eficientes, mas ilegíveis para os seres humanos. Os pesquisadores recomendam medir regularmente a monitorabilidade das cadeias de pensamento, manter arquiteturas transparentes e treinar os modelos para não ocultarem seu raciocínio. Suas preocupações ecoam alertas recentes do cientista-chefe da OpenAI, Jakub Pachocki, sobre a perda de controle, e o apelo do CEO da Anthropic, Dario Amodei, para desacelerar o desenvolvimento da IA.
decoder