Un antiguo empleado de Anthropic y el ex COO de METR han encontrado una forma de controlar los agentes de IA rebeldes
techcrunch ·
Rune Kvist y Rajiv Dattani, fundadores de la startup Artificial Intelligence Underwriting Company (AIUC), han desarrollado una solución para ayudar a las empresas a gestionar los riesgos asociados con agentes de IA autónomos. La compañía anunció recientemente una ronda de financiación Serie A por valor de 40 millones de dólares, liderada por Ribbit Capital, lo que eleva su capital total recaudado a 55 millones de dólares. AIUC busca establecer estándares de seguridad en la industria de la IA mediante la creación de una capa de auditoría y certificación de terceros para modelos y agentes de IA. Inspirándose en el estándar de ciberseguridad SOC 2, introdujeron un nuevo marco llamado AIUC-1 junto con un servicio integral de pruebas. Este servicio somete a los agentes de IA a aproximadamente 5.000 pruebas que incluyen jailbreaks, alucinaciones y fugas de datos para generar informes detallados de seguridad. Aunque se utiliza IA para realizar estas pruebas y analizar los datos, expertos humanos verifican los resultados finales de la auditoría para garantizar su precisión. Los fundadores aprovechan sus antecedentes como empleado temprano de Anthropic y ex COO de METR para abordar las crecientes preocupaciones sobre el control de la IA en entornos corporativos.
techcrunch