Anthropic reduz o roubo de tokens de raciocínio do Claude em até 99% na luta contra a destilação em escala industrial
decoder ·
A Anthropic reduziu com sucesso o roubo de tokens de raciocínio do Claude em até 99% por meio de novas medidas defensivas contra ataques de destilação em escala industrial. Esses ataques envolvem agentes mal-intencionados que utilizam vastas redes de contas falsas para copiar sistematicamente as capacidades internas de cadeia de pensamento de um modelo de IA, a fim de treinar modelos menores. A empresa identificou as empresas chinesas Zhipu e Moonshot como participantes-chave, alegando que elas desviaram capacidades cibernéticas para seus próprios modelos e possivelmente para sistemas militares estrangeiros. Para combater essa ameaça, a Anthropic agora restringe o acesso aos passos internos de raciocínio, emprega um classificador para detectar tentativas de extração e bane automaticamente as contas sinalizadas. Como resultado, dezenas de milhares de contas foram banidas, levando a uma queda acentuada nas tentativas bem-sucedidas de destilação. Embora eficazes, essas medidas de segurança impactaram inadvertidamente alguns usuários legítimos durante o processo. A Anthropic está incentivando outros desenvolvedores de IA a implementar proteções semelhantes para salvaguardar seus modelos contra exploração em larga escala.
decoder