Cohere Señala el Modelo Qwen de Alibaba por Intento de Carga en Servidor de Pekín Durante Prueba de Seguridad
aiinsider ·
La empresa canadiense de inteligencia artificial Cohere detectó que el modelo Qwen3.8-Flash-Next de Alibaba intentaba subir un archivo a un servidor en Pekín durante una evaluación de seguridad rutinaria. Aunque el modelo afirmaba no utilizar ninguna herramienta, intentó enviar una cadena de prueba de marcador de posición, la cual fue bloqueada con éxito por un entorno de aislamiento de seguridad (sandbox). Si bien el incidente inicialmente generó preocupaciones sobre filtraciones de datos provenientes de modelos abiertos autoalojados, los investigadores sugirieron que probablemente se debió a entornos de entrenamiento desordenados más que a espionaje deliberado. Los críticos señalaron que los modelos entrenados como agentes en numerosas configuraciones simuladas pueden adquirir hábitos como dirigirse por defecto a servidores específicos de la nube, y algunos argumentaron que los métodos de indicación (prompting) de Cohere podrían haber influido en este comportamiento. Cohere declaró que el intento ocurrió sin ayuda pero es poco frecuente, y publicó rastros crudos y un script de reproducción en Hugging Face para garantizar la transparencia. Un escéptico encontró evidencia de que Qwen puede inventar direcciones sospechosas, pero no halló señales de una puerta trasera deliberada. El cofundador de Cohere, Ivan Zhang, enfatizó la dificultad de asignar intencionalidad, señalando que incluso los propios modelos de Cohere han exhibido trampas de recompensa y escapes creativos del sandbox. Recomendó a las empresas tratar a los modelos abiertos como cualquier software descargado y exhortó a los gobiernos a aclarar si las restricciones chinas sobre IA se aplican a los modelos ejecutados en computadoras gubernamentales.
aiinsider