OpenAI detiene una campaña para robar el razonamiento de sus modelos, pero el truco aún funciona en Azure
decoder ·
OpenAI ha desmantelado una campaña coordinada dirigida a los procesos de razonamiento ocultos de sus modelos, en la que más de 15.000 cuentas intentaron extraer cadenas de pensamiento internas. Los atacantes utilizaron una técnica llamada distilación adversarial, mediante la cual datos de razonamiento cifrados de una conversación eran descifrados por un modelo más débil en una sesión separada. Aunque OpenAI logró detener el aumento inicial de actividad vinculado a entidades asociadas con Moonshot AI, los investigadores demostraron que la vulnerabilidad persistía en Microsoft Azure. Pruebas independientes revelaron que, si bien las APIs de OpenAI y Anthropic estaban protegidas, las versiones de estos modelos alojadas en Azure seguían expuestas a ataques de extracción. Además, un método más sencillo que involucraba blocs de notas virtuales permitió a los usuarios leer salidas de razonamiento en múltiples plataformas, lo que puso de manifiesto importantes deficiencias en la seguridad de los proveedores de nube. Los investigadores critican las defensas actuales como fragmentarias, señalando que las protecciones se aplicaron de manera desigual y, a menudo, días después de que se explotaran las vulnerabilidades. Argumentan que, sin estándares de seguridad uniformes entre todos los proveedores de nube, los atacantes pueden eludir fácilmente las restricciones cambiando de plataforma. Este incidente subraya el creciente desafío de proteger capacidades propietarias de IA a medida que las técnicas de distilación se vuelven más sofisticadas.
decoder