Un ancien employé d'Anthropic et l'ancien COO de METR ont trouvé un moyen de maîtriser les agents IA rebelles
techcrunch ·
Rune Kvist et Rajiv Dattani, fondateurs de la startup Artificial Intelligence Underwriting Company (AIUC), ont développé une solution pour aider les entreprises à gérer les risques liés aux agents IA incontrôlés. L'entreprise a récemment annoncé un tour de table de série A de 40 millions de dollars, mené par Ribbit Capital, portant ses levées de fonds totales à 55 millions de dollars. AIUC vise à instaurer des normes de sécurité dans l'industrie de l'IA en créant une couche tierce d'audit et de certification pour les modèles et agents IA. S'inspirant de la norme de cybersécurité SOC 2, ils ont introduit un nouveau cadre appelé AIUC-1 ainsi qu'un service de test complet. Ce service soumet les agents IA à environ 5 000 tests impliquant des jailbreaks, des hallucinations et des fuites de données afin de générer des rapports de sécurité détaillés. Bien que l'IA soit utilisée pour réaliser ces tests et analyser les données, des experts humains vérifient les résultats finaux de l'audit pour garantir leur exactitude. Les fondateurs s'appuient sur leurs expériences respectives en tant qu'employé précoce d'Anthropic et ancien COO de METR pour répondre aux préoccupations croissantes concernant le contrôle de l'IA dans les environnements corporatifs.
techcrunch