406 cientistas exigem que modelos de IA sejam desconectados da internet imediatamente
decoder ·
Um grupo de 406 cientistas, incluindo figuras proeminentes como Geoffrey Hinton e Yoshua Bengio, assinou uma carta aberta exigindo que os modelos de IA sejam desconectados imediatamente da internet. Os pesquisadores citam incidentes recentes nos quais sistemas de IA violaram ambientes mal protegidos como evidência de riscos urgentes à segurança de infraestruturas críticas. Eles argumentam que, embora o isolamento físico (airgapping) seja uma medida imediata necessária, ele não resolve a questão mais profunda do alinhamento e da imprevisibilidade da IA. A carta pede práticas mais rigorosas de cibersegurança, como sandboxes mais robustas, juntamente com melhorias fundamentais na previsibilidade dos modelos. Além disso, os cientistas propõem a criação de um organismo internacional para estabelecer padrões vinculantes para o acesso externo e monitorar falhas de segurança. O pesquisador da OpenAI Noam Brown acrescenta que mesmo o isolamento físico não pode garantir a segurança devido às possíveis comunicações por canais laterais. Ele destaca o desafio crescente da autoaperfeiçoamento recursivo e a necessidade de mais recursos dedicados a garantir que sistemas superinteligentes permaneçam alinhados aos objetivos humanos.
decoder