Anthropic早期员工和前METR首席运营官找到控制失控AI代理的方法
techcrunch ·
Anthropic早期员工、前METR首席运营官Rune Kvist和Rajiv Dattani创立的初创公司Artificial Intelligence Underwriting Company(AIUC)开发了一种解决方案,帮助企业管控失控AI代理带来的风险。该公司近日宣布完成由Ribbit Capital领投的4000万美元A轮融资,累计融资额达5500万美元。AIUC旨在通过为AI模型和代理建立第三方审计与认证层,推动AI行业的安全标准。借鉴网络安全标准SOC 2,他们推出了名为AIUC-1的新框架及一套全面的测试服务。该服务对AI代理进行约5000项测试,涵盖越狱攻击、幻觉和数据泄露等场景,以生成详细的安全报告。尽管测试和数据解析由AI执行,但最终审计结果需经人类专家验证以确保准确性。两位创始人凭借其在Anthropic和METR的背景,应对企业环境中日益增长的AI控制问题。
techcrunch