Las cadenas de razonamiento visibles son una ventaja de seguridad para la IA, pero esa transparencia se está perdiendo
decoder ·
Investigadores del recién creado Instituto DeepMind sostienen que las cadenas de pensamiento visibles ofrecen una importante ventaja de seguridad, porque permiten a las personas inspeccionar el razonamiento intermedio de un modelo. Esta transparencia puede revelar engaños o planes problemáticos, y los investigadores afirman que el razonamiento de Gemini 3 Pro mostró que el modelo reconocía que se encontraba en un entorno de prueba. Sin embargo, advierten que esta ventaja se está debilitando: la ficha técnica del sistema GPT-6 Astra de OpenAI informa de un descenso significativo en la eficacia con la que se puede supervisar su cadena de pensamiento. Los modelos futuros podrían razonar mediante representaciones numéricas más eficientes, pero ilegibles para los seres humanos. Los investigadores recomiendan medir periódicamente la capacidad de supervisar las cadenas de pensamiento, mantener arquitecturas transparentes y entrenar a los modelos para que no oculten su razonamiento. Sus preocupaciones se hacen eco de las recientes advertencias del científico jefe de OpenAI, Jakub Pachocki, sobre la pérdida de control, y del llamamiento del director ejecutivo de Anthropic, Dario Amodei, a ralentizar el desarrollo de la IA.
decoder