Anthropic e OpenAI propõem integrar avaliadores independentes de segurança nas empresas de IA
aiinsider ·
O CEO da Anthropic, Dario Amodei, propôs que empresas de IA de fronteira integrem avaliadores independentes terceirizados, capazes de avaliar o alinhamento dos modelos, relatar incidentes de segurança e publicar descobertas sem controle editorial. Ele disse que a Anthropic ampliaria o acesso para grupos como a METR e a Redwood Research, e o CEO da OpenAI, Sam Altman, afirmou que sua empresa faria o mesmo. Os avaliadores receberam bem a proposta, mas destacaram questões ainda não resolvidas sobre o alcance do acesso, incluindo acesso a checkpoints intermediários de treinamento, ambientes de pós-treinamento, entrevistas com funcionários e evidências de modelos tentando comprometer o treinamento de alinhamento. Pesquisadores também apontaram para janelas de avaliação limitadas em análises anteriores, enquanto Henry Papadatos, da Safer AI, argumentou que compromissos voluntários poderiam ser revertidos sem regulamentação vinculante. Meta, Google DeepMind e SpaceXAI não assumiram o mesmo compromisso, embora Demis Hassabis, da DeepMind, tenha sugerido a criação de um órgão separado de padrões do setor. A SB 53 e a SB 813 da Califórnia, juntamente com o Regulamento de IA da União Europeia, estão começando a estabelecer requisitos formais de avaliação.
aiinsider