Ex-funcionário da Anthropic e ex-COO da METR encontraram uma maneira de conter agentes de IA rebeldes
techcrunch ·
Rune Kvist e Rajiv Dattani, fundadores da startup Artificial Intelligence Underwriting Company (AIUC), desenvolveram uma solução para ajudar empresas a gerenciar os riscos associados a agentes de IA autônomos. A empresa anunciou recentemente uma rodada de financiamento Série A de US$ 40 milhões, liderada pela Ribbit Capital, elevando seu total de capital levantado para US$ 55 milhões. A AIUC visa trazer padrões de segurança à indústria de IA por meio da criação de uma camada de auditoria e certificação de terceiros para modelos e agentes de IA. Inspirados no padrão de cibersegurança SOC 2, eles introduziram um novo framework chamado AIUC-1, juntamente com um serviço abrangente de testes. Esse serviço submete agentes de IA a aproximadamente 5.000 testes envolvendo jailbreaks, alucinações e vazamentos de dados para gerar relatórios detalhados de segurança. Embora a IA seja usada para realizar esses testes e analisar os dados, especialistas humanos verificam os resultados finais da auditoria para garantir a precisão. Os fundadores aproveitam suas experiências como um dos primeiros funcionários da Anthropic e ex-COO do METR para abordar as crescentes preocupações sobre o controle da IA em ambientes corporativos.
techcrunch