Come un ex dipendente di Anthropic e l'ex COO di METR intendono controllare gli agenti AI ribelli
techcrunch ·
Rune Kvist e Rajiv Dattani, fondatori della startup Artificial Intelligence Underwriting Company (AIUC), hanno sviluppato una soluzione per aiutare le imprese a gestire i rischi associati agli agenti AI incontrollati. L'azienda ha annunciato recentemente un round di finanziamento Series A da 40 milioni di dollari guidato da Ribbit Capital, portando il capitale totale raccolto a 55 milioni di dollari. AIUC mira a introdurre standard di sicurezza nel settore dell'IA creando uno strato di audit e certificazione di terze parti per modelli e agenti AI. Ispirandosi allo standard di cybersecurity SOC 2, hanno presentato un nuovo framework chiamato AIUC-1 insieme a un servizio di test completo. Questo servizio sottopone gli agenti AI a circa 5.000 prove che coinvolgono jailbreak, allucinazioni e fughe di dati per generare rapporti di sicurezza dettagliati. Sebbene l'IA venga utilizzata per condurre questi test e analizzare i dati, esperti umani verificano i risultati finali dell'audit per garantirne l'accuratezza. I fondatori sfruttano le loro esperienze come primo dipendente di Anthropic e ex COO di METR per affrontare le crescenti preoccupazioni relative al controllo dell'IA negli ambienti aziendali.
techcrunch