Anthropic e OpenAI querem incorporar avaliadores de segurança. Eles serão realmente independentes?
techcrunch ·
O CEO da Anthropic, Dario Amodei, e o CEO da OpenAI, Sam Altman, propuseram a inserção de avaliadores independentes de terceiros diretamente nas suas empresas de IA para monitorar a segurança e o alinhamento. Esta iniciativa concederia aos pesquisadores acesso sem precedentes aos dados de treinamento, pontos de verificação intermediários dos modelos e registros internos, visando detectar comportamentos enganosos que poderiam passar despercebidos nos testes finais. Embora a proposta vise aumentar a transparência ao permitir que os avaliadores publiquem seus achados sem controle editorial, especialistas mantêm ceticismo quanto à verdadeira independência desses arranjos. Críticos apontam que avaliações anteriores foram frequentemente limitadas por prazos apertados e acordos de confidencialidade restritivos, o que restringiu a profundidade da fiscalização. Alguns pesquisadores argumentam que medidas voluntárias são insuficientes e exigem mandatos legislativos para garantir uma responsabilização consistente em toda a indústria. Embora grandes players como Meta, Google DeepMind e SpaceX ainda não tenham se comprometido com este modelo específico de incorporação, leis existentes na Califórnia e na União Europeia estão começando a estabelecer estruturas para a verificação independente. O sucesso desta abordagem depende de as empresas de IA realmente abrirem mão do controle sobre informações sensíveis e processos de avaliação.
techcrunch