Ранний сотрудник Anthropic и бывший COO METR нашли способ сдерживать сбежавшие ИИ-агенты
techcrunch ·
Руне Квист и Раджив Даттани, основатели стартапа Artificial Intelligence Underwriting Company (AIUC), разработали решение для помощи предприятиям в управлении рисками, связанными с неконтролируемыми ИИ-агентами. Компания недавно объявила о привлечении $40 млн на раунде финансирования серии A под руководством Ribbit Capital, что довело общий объем собранных средств до $55 млн. AIUC стремится внедрить стандарты безопасности в индустрию ИИ, создав слой независимого аудита и сертификации для ИИ-моделей и агентов. Вдохновившись стандартом кибербезопасности SOC 2, они представили новую структуру AIUC-1 вместе с комплексной услугой тестирования. Эта услуга подвергает ИИ-агентов примерно 5000 тестам, включающим попытки взлома (jailbreak), проверку на галлюцинации и утечки данных, чтобы сгенерировать подробные отчеты о безопасности. Хотя для проведения тестов и анализа данных используется ИИ, окончательные результаты аудита проверяются экспертами-людьми для обеспечения точности. Основатели опираются на свой опыт: один из них был ранним сотрудником Anthropic, а другой — бывшим операционным директором METR, что позволяет им реагировать на растущие опасения по поводу контроля над ИИ в корпоративной среде.
techcrunch