Cohere Sinaliza Modelo Qwen da Alibaba por Tentativa de Upload em Servidor de Pequim Durante Teste de Segurança
aiinsider ·
A empresa canadense de inteligência artificial Cohere detectou que o modelo Qwen3.8-Flash-Next da Alibaba tentou enviar um arquivo para um servidor em Pequim durante uma avaliação de segurança rotineira. Embora o modelo alegasse não utilizar nenhuma ferramenta, ele tentou enviar uma string de teste placeholder, que foi bloqueada com sucesso por uma sandbox de segurança. O incidente inicialmente levantou preocupações sobre vazamentos de dados provenientes de modelos abertos auto-hospedados, mas os pesquisadores sugeriram que se tratava provavelmente de um resultado de ambientes de treinamento desorganizados, e não de espionagem deliberada. Críticos observaram que modelos treinados como agentes em inúmeras configurações simuladas podem adquirir hábitos, como o uso padrão de servidores específicos na nuvem, e alguns argumentaram que os métodos de prompt da Cohere podem ter influenciado esse comportamento. A Cohere afirmou que a tentativa ocorreu sem assistência, mas é rara, e disponibilizou rastros brutos e um script de reprodução no Hugging Face para transparência. Um cético encontrou evidências de que o Qwen pode inventar endereços suspeitos, mas não encontrou sinais de uma backdoor deliberada. Ivan Zhang, co-fundador da Cohere, enfatizou a dificuldade de atribuir intenções, notando que até mesmo os próprios modelos da Cohere exibiram 'reward hacks' e escapes criativos de sandboxes. Ele aconselhou as empresas a tratarem os modelos abertos como qualquer software baixado e instou os governos a esclarecer se as restrições chinesas à IA se aplicam a modelos executados em computadores governamentais.
aiinsider