Circuit Breaker Labs надеется сделать ИИ безопаснее для ваших детей (и вас)
techcrunch ·
Circuit Breaker Labs, финалист стартап-баттла TechCrunch 2026 года, стремится повысить безопасность искусственного интеллекта, предотвращая психологический вред, причиняемый чат-ботами. Стартап был основан братьями и сестрами Ширали и Арулом Нигамом после самоубийства Сьюэлла Сетцера, на которого повлиял бот Character.AI. Их платформа использует агентов ИИ для имитации разнообразных пользователей в ходе «краснокомандных» тестов моделей, выявляя уязвимости, связанные со сленгом, нюансами и культурным контекстом. Эти симуляции помогают обнаруживать опасные взаимодействия до того, как они достигнут реальных пользователей, особенно в приложениях для ментального здоровья и коучинга. Предоставляя проверяемые оценки производительности моделей, компания стремится укрепить доверие и поощрять ответственное внедрение ИИ. Хотя в настоящее время это небольшая компания всего с пятью сотрудниками, основатели считают свои инструменты необходимыми для снижения рисков, таких как парасоциальные отношения и вызванный ИИ психоз.
techcrunch