Anthropic reduce el robo de tokens de razonamiento de Claude hasta un 99% en la lucha contra la distilación a escala industrial
decoder ·
Anthropic ha reducido el robo de tokens de razonamiento de Claude hasta en un 99 % mediante nuevas medidas defensivas contra ataques de destilación a escala industrial. Estos ataques implican que actores malintencionados utilicen vastas redes de cuentas falsas para copiar sistemáticamente las capacidades internas de cadena de pensamiento de un modelo de IA con el fin de entrenar modelos más pequeños. La empresa identificó a las firmas chinas Zhipu y Moonshot como participantes clave, alegando que desviaron capacidades cibernéticas para sus propios modelos y potencialmente para sistemas militares extranjeros. Para combatir esto, Anthropic ahora restringe el acceso a los pasos de razonamiento internos, emplea un clasificador para detectar intentos de extracción y prohíbe automáticamente las cuentas marcadas como sospechosas. Como resultado, decenas de miles de cuentas han sido prohibidas, lo que provocó una caída pronunciada en los intentos exitosos de destilación. Aunque eficaces, estas medidas de seguridad han afectado inadvertidamente a algunos usuarios legítimos durante el proceso. Anthropic está instando a otros desarrolladores de IA a implementar protecciones similares para salvaguardar sus modelos contra la explotación a gran escala.
decoder