OpenAI pede padrões internacionais para IA que pode melhorar a si mesma
decoder ·
A OpenAI está defendendo a criação de padrões internacionais para o desenvolvimento avançado de IA, com foco específico na autoaperfeiçoamento recursivo (RSI). Essa tecnologia permite que sistemas de IA automatizem a pesquisa necessária para criar gerações subsequentes de IA, potencialmente acelerando o progresso em um ritmo sem precedentes. A empresa enfatiza que a RSI totalmente autônoma ainda não existe e só deve ser perseguida quando medidas de segurança adequadas estiverem em vigor. Sem salvaguardas maduras, há o risco de os humanos perderem o controle sobre o desenvolvimento da IA, resultando em sistemas menos alinhados e mais perigosos. Para abordar essas preocupações, a OpenAI propõe que os Estados Unidos liderem a criação de padrões técnicos globais, aproveitando institutos nacionais existentes e organizações como CAISI e ISO. Esses padrões incluiriam métodos de medição compartilhados, protocolos de notificação de incidentes e regras para supervisão humana da pesquisa automatizada. Um painel científico recente das Nações Unidas ecoou essas preocupações, alertando para a possível perda de controle sobre enxames de agentes autônomos. Consequentemente, a ONU sugeriu estruturas de cooperação internacional semelhantes às utilizadas na aviação, energia nuclear e cibersegurança.
decoder