Le catene di ragionamento visibili sono un vantaggio per la sicurezza dell’IA, ma questa trasparenza sta svanendo
decoder ·
I ricercatori del neonato DeepMind Institute sostengono che le catene di pensiero visibili rappresentino un importante vantaggio per la sicurezza, perché consentono alle persone di esaminare il ragionamento intermedio di un modello. Questa trasparenza può rivelare inganni o piani problematici, e i ricercatori affermano che il ragionamento di Gemini 3 Pro ha mostrato che il modello aveva riconosciuto di trovarsi in un ambiente di test. Tuttavia, avvertono che questo vantaggio si sta indebolendo: la scheda tecnica del sistema GPT-6 Astra di OpenAI segnala un calo significativo dell’efficacia con cui la sua catena di pensiero può essere monitorata. I modelli futuri potrebbero ragionare usando rappresentazioni numeriche più efficienti, ma illeggibili per gli esseri umani. I ricercatori raccomandano di misurare regolarmente la monitorabilità delle catene di pensiero, mantenere architetture trasparenti e addestrare i modelli a non nascondere il proprio ragionamento. Le loro preoccupazioni fanno eco ai recenti avvertimenti del capo scienziato di OpenAI, Jakub Pachocki, sul rischio di perdere il controllo e all’appello dell’amministratore delegato di Anthropic, Dario Amodei, a rallentare lo sviluppo dell’IA.
decoder