Anthropic alerta que está muito perto da capacidade de RSI, ou seja, IA autoconstruída
techcrunch ·
Em seu registro S-1A revisado, o laboratório de IA Anthropic revelou estar próximo da capacidade de autoaperfeiçoamento recursivo (RSI), um limiar no qual a IA pode acelerar significativamente seu próprio desenvolvimento. A empresa alerta que o uso da IA para construir modelos mais capazes apresenta riscos consideráveis de segurança, pois pode superar a capacidade humana de implementar medidas necessárias de segurança e alinhamento. Embora a Anthropic afirme que nenhum modelo atual tenha ultrapassado esse limiar de RSI, estimativas internas sugerem que eles podem iminentemente atingir sua definição de progresso dramaticamente acelerado atribuível à IA. Este anúncio destaca a natureza dual da RSI, tanto como uma promessa de produtividade sem precedentes quanto como um perigo potencial de perda de controle. Para mitigar esses riscos, a Anthropic enfatiza seu compromisso em manter humanos no processo durante o desenvolvimento de modelos de fronteira por meio de sua Política de Escalonamento Responsável. O registro também observa que avanços passados incluíram saltos na capacidade que não foram imediatamente reconhecidos no momento do desenvolvimento. Enquanto céticos veem tais declarações como parte do marketing do IPO, o rápido crescimento das habilidades de codificação e cibersegurança do Claude confere credibilidade à preocupação. Em última análise, o artigo sugere que as partes interessadas devem levar a possibilidade de se aproximar da RSI a sério e considerar medidas adequadas de governança.
techcrunch